؟ البحث عن عنوان BTC (رسالة ماجستير)
حل لجمع تقارير إساءة استخدام عناوين Bitcoin. يقوم BTCAbuseCrawler (Python) بالزحف إلى مواقع الويب المتاحة مجانًا وتحليلها ومعالجة البيانات في قاعدة بيانات (PostgreSQL). يوفر BTCAbuseSearch (JavaScript, Node.js) البيانات المجمعة عبر موقع الويب أو واجهة برمجة التطبيقات (API) للمستخدم بناءً على دوره في النظام. يمكن تشغيل كلتا الأداتين بالتوازي.
⁉️ التوثيق [التوثيق]
وثائق
المخططات
- استخدام مخطط الحالة
- مخطط المكون
- مخطط علاقة الكيان
آخر
BTCAbuseCrawler [btc_abuse_crawler]
سمات
- ✔️ مُهيئ قاعدة بيانات PostgreSQL
- ✔️الإعداد 1
- ✔️ إعادة تعيين 2
- ✔️ تنزيل ومعالجة متعددة الخيوط 3
- ✔️ التشغيل الآلي 4
- ✔️ استيفاء قواعد ملف robots.txt 5
- ✔️ مخطط قاعدة البيانات كاملة
- ✔️ المصدر - يحتوي على أسماء مصادر العناوين والتقارير
- ✔️ العملة - تحتوي على جميع سلاسل الكتل المتوفرة من Blockchair
- ✔️ source_label - يحتوي على تسميات للمصادر (فئة فرعية للمصادر)
- ✔️ العنوان - يحتوي على عناوين BTC وعناوين العملات المشفرة الأخرى
- ✔️ عنوان url - يحتوي على عناوين URL فريدة تم جمعها أثناء الزحف
- ✔️ source_label_url - يحتوي على عناوين URL للبدء لتصنيفات المصادر (يمكن أن يحتوي كل تصنيف على عناوين URL متعددة للبدء)
- ✔️ البيانات - تحتوي على روابط نسبية للبيانات التي تم الزحف إليها
- ✔️ الدور - يحتوي على أدوار المستخدم بمستويات مختلفة من الوصول إلى البيانات التي تم الزحف إليها
- ✔️ الحساب - يحتوي على معلومات حول حساب المستخدم
- ✔️ الرمز المميز - يحتوي على رموز API المميزة بمستويات مختلفة من الوصول إلى البيانات التي تم الزحف إليها
- ✔️ عنوان البيانات - يحتوي على اتصال بين عناوين العملة المشفرة والبيانات التي تم الزحف إليها
- ✔️ الجلسة - تحتوي على جلسات الحساب
- ✔️ الزحف إلى جميع العناوين / التقارير من المصادر التالية 5 :
- ✔️ لويسV
- ✔️ تحديثات أسبوعية لجميع عناوين BTC (GZIP)
- ✔️ التحديثات اليومية (TXT)
- ✔️ إساءة استخدام البيتكوين
- ✔️ العناوين المبلغ عنها (HTML) 6
- ✔️ التحقق من عنوان البيتكوين
- ✔️ العناوين المبلغ عنها (HTML) 6
- ✔️ القائمة السوداء المشفرة
- ✔️ تم البحث عن عناوين BTC المبلغ عنها (HTML) 7
- ✔️ آخر عناوين ETH المُبلغ عنها (HTML)
- ✔️ عملية احتيال لمولد البيتكوين
- ✔️ عناوين BTC الاحتيالية (TXT)
- ✔️ عناوين احتيالية غير تابعة لـ BTC (TXT) 6
- ✔️ بيتكوين آي إس
- ✔️ العناوين المبلغ عنها (HTML) 6
- ✔️ CryptoScamDB
- ✔️ العناوين المبلغ عنها (JSON) 6
- ✔️Cryptscam
- ✔️ تم البحث عن عناوين BTC المبلغ عنها (HTML) 7
- ✔️ آخر العناوين المبلغ عنها (HTML) 6
- ✔️ سيكوين
- ✔️ عناوين BTC المبلغ عنها (HTML) 7
- ✔️ بيتكوينWhosWho
- ✔️ تم البحث عن عناوين BTC المبلغ عنها (HTML) 7
- ✔️ ربط العناوين والبيانات التي تم الزحف إليها 8
- ✔️ التعامل مع الاستثناءات
متطلبات
- PostgreSQL 15.2 لنظام التشغيل Windows (64 بت)
- بايثون 3.11 لنظام التشغيل Windows (64 بت)
تثبيت
- قم بتنزيل PostgreSQL وتثبيته (أثناء التثبيت، قم بتعيين كلمة المرور: postgres)
- قم بتنزيل Python وتثبيته (أثناء التثبيت، حدد الخيار: Add python.exe to PATH)
- انتقل إلى الإعدادات / التطبيقات / إعدادات التطبيق المتقدمة / الأسماء المستعارة لتنفيذ التطبيق وأوقف تشغيل python.exe
- أعد تشغيل الكمبيوتر
- انتقل إلى دليل البرنامج
btc_abuse_crawler
- أعد تسمية الملف
example_db.json
إلى db.json
- تغيير كلمة المرور للاتصال في
db.json
- أعد تسمية الملف
example_setup.json
إلى setup.json
- تغيير كلمات المرور للمستخدمين في
setup.json
- افتح موجه الأوامر
- قم بتغيير دليل العمل الحالي إلى
btc_abuse_crawler
- قم بتثبيت الحزم باستخدام الأمر
pip install -U -r requirements.txt
جري
- افتح موجه الأوامر (كمسؤول) 9
- قم بتغيير دليل العمل الحالي إلى
btc_abuse_crawler
- قم بتشغيل البرنامج باستخدام الأمر
python main.py
- إذا ظهر التحكم في حساب المستخدم، فاضغط على
Yes
10
؟ BTCAbuseSearch [btc_abuse_search]
سمات
- ✔️ واجهة برمجة التطبيقات
- ✔️ الحصول على رمز مميز
- ✔️ الحصول على العملات
- ✔️ الحصول على المصادر
- ✔️ الحصول على العناوين (قابلة للتصفية حسب العملة والمصدر)
- ✔️ الحصول على العنوان
- ✔️ الحصول على البيانات
- ✔️ الحد من الوصول حسب أدوار المستخدم
- ✔️ إنشاء رمز مميز (مرتبط بالحساب، يتم إنشاؤه أثناء تسجيل الدخول لأول مرة)
- ✔️ تخزين البيانات مؤقتًا
- ✔️ صفحات الويب
- ✔️ الفهرس
- ✔️ قم بالتسجيل
- ✔️ تسجيل الدخول
- ✔️ تسجيل الخروج
- ✔️ الحساب
- ✔️ الحسابات (قابلة للتصفية حسب البريد الإلكتروني والدور) - صفحة المسؤول فقط
- ✔️ العناوين (قابلة للتصفية حسب العملة والمصدر)
- ✔️ العنوان - جميع المعلومات المتعلقة بالعنوان الذي تم البحث عنه
- ✔️ الإحصائيات
- ✔️ API - ميزات API المدرجة
- ✔️ الأسئلة الشائعة - الإجابة على الأسئلة المتعلقة بالموقع
- ✔️ خطأ - 404 غير موجود
متطلبات
- Node.js 18.15 LTS لنظام التشغيل Windows (64 بت)
تثبيت
- قم بتنزيل Node.js وتثبيته
- أعد تشغيل الكمبيوتر
- انتقل إلى دليل البرنامج
btc_abuse_search
- أعد تسمية الملف
example_db.json
إلى db.json
- تغيير كلمة المرور للاتصال في
db.json
- افتح موجه الأوامر
- قم بتغيير دليل العمل الحالي إلى
btc_abuse_search
- قم بتثبيت الحزم باستخدام الأمر
npm i -g npm-check-updates && ncu -u && npm i
جري
- افتح موجه الأوامر
- قم بتغيير دليل العمل الحالي إلى
btc_abuse_search
- قم بتشغيل البرنامج باستخدام
node main.js