الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

devsearch

محرك بحث ويب تم إنشاؤه باستخدام Python والذي يستخدم TF-IDF وPageRank لفرز نتائج البحث.

كومة

  • قارورة (بايثون 3)
  • سكرابي
  • LXML
  • مونجو إنجين (مونجو دي بي)
  • التمهيد 4

متطلبات

  • عامل ميناء
  • عامل الميناء يؤلف

يثبت

  • قم بتثبيت Docker وDocker Compose.
  • استنساخ أو تنزيل هذا الريبو.
  • قم بإنشاء ملف .env من .env.example .
  • قم بتشغيل docker-compose up .

الزحف

  • قم بتحديث متغير SPIDER_ALLOWED_DOMAINS في .env بالنطاقات التي تريد أن يزحف إليها العنكبوت.
  • أضف عنوان URL واحدًا على الأقل إلى مجموعة Crawl_list (في MongoDB) ليبدأ العنكبوت به.
  • قم بتشغيل docker-compose run web flask crawl للزحف إلى صفحات الويب الجديدة.
  • يمكنك إضافة خيار --recrawl لتحديث الصفحات التي تم الزحف إليها بالفعل: docker-compose run web flask crawl --recrawl True .

الفهرسة

  • لفهرسة الصفحات التي تم الزحف إليها، قم بتشغيل docker-compose run web flask index .
  • لحساب TFIDF، قم بتشغيل الأمر التالي تلو الآخر:
    • docker-compose run web flask idf
    • docker-compose run web flask tfidf
  • لحساب نظام ترتيب الصفحات، قم بتشغيل docker-compose run web flask rank .
  • لحساب نقاط كلمات الصفحة، قم بتشغيل docker-compose run web flask score .

نشر

  • قم بإنشاء ملف .env.secret من .env.secret.example .
  • قم بتشغيل docker-compose -f docker-compose.prod.yml up --build -d .
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل