devsearch

pencarian dev

Mesin pencari web yang dibangun dengan Python yang menggunakan TF-IDF dan PageRank untuk mengurutkan hasil pencarian.

Tumpukan

• Labu (Python 3)
• tergores
• LXML
• Mesin Mongo (MongoDB)
• Tali sepatu 4

Persyaratan

• Buruh pelabuhan
• Penulisan Docker

Pengaturan

• Instal Docker dan Docker Compose.
• Kloning atau unduh repo ini.
• Buat file .env dari .env.example .
• Jalankan docker-compose up .

Merangkak

• Perbarui variabel SPIDER_ALLOWED_DOMAINS di .env dengan domain yang ingin dirayapi laba-laba.
• Tambahkan setidaknya satu url ke koleksi crawl_list (di MongoDB) untuk memulai laba-laba.
• Jalankan docker-compose run web flask crawl untuk merayapi halaman web baru.
• Anda dapat menambahkan opsi --recrawl untuk memperbarui halaman yang sudah dirayapi: docker-compose run web flask crawl --recrawl True .

Pengindeksan

• Untuk mengindeks halaman yang dirayapi, jalankan docker-compose run web flask index .
• Untuk menghitung TFIDF, jalankan perintah berikut satu demi satu:
  • docker-compose run web flask idf
  • docker-compose run web flask tfidf
• Untuk menghitung PageRank, jalankan docker-compose run web flask rank .
• Untuk menghitung skor kata halaman, jalankan docker-compose run web flask score .

Menyebarkan

• Buat file .env.secret dari .env.secret.example .
• Jalankan docker-compose -f docker-compose.prod.yml up --build -d .