simple_search_engine

Mesin Pencari Sederhana

Pengenalan aplikasi

Tugas pengambilan dan penghitungan informasi sosial memerlukan fungsi berikut:

• TFIDF: Diberikan folder yang dinamai menurut nama Anda sendiri, silakan jelajahi sejumlah halaman web dan Weibo untuk membentuk kumpulan korpus dan simpan di folder tersebut, lakukan statistik TFIDF pada kata-kata di dalamnya secara online dan keluarkan ke file. Direktori penyimpanan file adalah app/tfidf/tfidf_result .

• SIM: Dalam keadaan online, masukkan dua kalimat apa pun dari halaman web dan temukan kesamaannya, termasuk tiga metode pengukuran: hasil kali dalam, kosinus, dan Jaccard.

• SJet: Mengimplementasikan mesin pencari berdasarkan Vector Space Model (VSM).

Lingkungan pengoperasian

• Linux
• ular piton 2.7
• jieba
• labu 0,12
• Beberapa ekstensi labu

Jalankan metode

• Buka terminal di direktori root proyek

• Gunakan perintah berikut untuk mengaktifkan lingkungan virtual python

   source venv/bin/activate
  

• Jalankan program dengan perintah berikut

   python hello.py runserver
  

• Kunjungi 127.0.0.1:5000

Struktur proyek

1. net_ease_roll.py

   reptil. Konten yang dirayapi mencakup bagian domestik, internasional, dan sosial dari berita bergulir NetEase, dengan total 416 artikel berita. Lingkungan yang menjalankan crawler adalah Windows.

2. tfidf_calc.py

   Melakukan preprocessing segmentasi kata pada teks berita yang dirayapi.

3. config.py

   Konfigurasi penyimpanan.

4. halo.py

   Digunakan untuk memulai program dan program tugas lainnya.

5. aplikasi

   1. __init__.py

      File proyek labu

   2. sim

      Menerapkan cetak biru fungsi SIM. Algoritma spesifik diimplementasikan dalam file views.py di bawah folder ini.

   3. jet

      Menerapkan cetak biru fungsi Sjet. Algoritma spesifik diimplementasikan dalam file views.py di bawah folder ini.

   4. tfidf

      Menerapkan cetak biru fungsi TFIDF. Algoritma spesifik diimplementasikan dalam file views.py di bawah folder ini.

   5. templat

      Templat ujung depan. Templat ini menggunakan mesin templat Jinja2 untuk rendering front-end.