หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

การพัฒนา

เครื่องมือค้นหาเว็บที่สร้างด้วย Python ซึ่งใช้ TF-IDF และ PageRank เพื่อจัดเรียงผลการค้นหา

สแต็ค

  • กระติกน้ำ (หลาม 3)
  • ขูด
  • LXML
  • MongoEngine (มอนโกดีบี)
  • บูทสแตรป 4

ความต้องการ

  • นักเทียบท่า
  • นักเทียบท่าเขียน

ตั้งค่า

  • ติดตั้ง Docker และ Docker Compose
  • โคลนหรือดาวน์โหลด repo นี้
  • สร้างไฟล์ .env จาก . env.example
  • เรียกใช้ docker-compose up

กำลังรวบรวมข้อมูล

  • อัปเดตตัวแปร SPIDER_ALLOWED_DOMAINS ใน .env ด้วยโดเมนที่คุณต้องการให้สไปเดอร์รวบรวมข้อมูล
  • เพิ่ม URL อย่างน้อยหนึ่งรายการในคอลเลกชัน crawl_list (ใน MongoDB) เพื่อให้สไปเดอร์เริ่มต้น
  • เรียกใช้ docker-compose run web flask crawl เพื่อรวบรวมข้อมูลหน้าเว็บใหม่
  • คุณสามารถเพิ่มตัวเลือก --recrawl เพื่ออัปเดตหน้าที่รวบรวมข้อมูลแล้ว: docker-compose run web flask crawl --recrawl True

การจัดทำดัชนี

  • หากต้องการจัดทำดัชนีหน้าที่รวบรวมข้อมูล ให้เรียกใช้ docker-compose run web flask index
  • ในการคำนวณ TFIDF ให้รันรายการต่อไปนี้:
    • docker-compose run web flask idf
    • docker-compose run web flask tfidf
  • ในการคำนวณ PageRank ให้รัน docker-compose run web flask rank
  • ในการคำนวณคะแนนคำหน้า ให้รัน docker-compose run web flask score

ปรับใช้

  • สร้างไฟล์ .env.secret จาก . env.secret.example
  • เรียกใช้ docker-compose -f docker-compose.prod.yml up --build -d
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด