kroomsa

Kroomsa

Mesin pencari bagi mereka yang penasaran. Ini adalah algoritma pencarian yang dirancang untuk melibatkan pengguna dengan memaparkan mereka pada konten yang relevan namun menarik selama sesi mereka.

Keterangan

Algoritma pencarian yang diterapkan di website Anda sangat mempengaruhi keterlibatan pengunjung. Penerapan yang baik dapat secara signifikan mengurangi ketergantungan pada mesin telusur standar seperti Google untuk setiap kueri, sehingga meningkatkan keterlibatan. Metode tradisional melihat istilah atau frasa dalam kueri Anda untuk menemukan konten yang relevan berdasarkan pencocokan sintaksis. Kroomsa menggunakan pencocokan semantik untuk menemukan konten yang relevan dengan kueri Anda. Ada postingan blog yang memperluas motivasi Kroomsa dan aspek teknisnya.

Memulai

Prasyarat

• Python 3.6.5
• Jalankan pengaturan direktori proyek: python3 ./setup.py di direktori root.
• Encoder Kalimat Universal Tensorflow 4
  • Modelnya tersedia di tautan ini. Unduh modelnya dan ekstrak file zip di direktori /vectorizer .
• MongoDB digunakan sebagai database untuk menyusun kiriman Reddit. MongoDB dapat diinstal mengikuti tautan ini.
• Untuk mengambil komentar dari kiriman reddit, PRAW digunakan. Untuk mengikis kredensial diperlukan yang mengotorisasi skrip yang sama. Ini dilakukan dengan membuat aplikasi yang terkait dengan akun reddit dengan mengikuti tautan ini. Sebagai referensi Anda bisa mengikuti tutorial yang ditulis oleh Shantnu Tiwari ini.
  • Daftarkan beberapa instance dan ambil kredensialnya, lalu tambahkan ke /config di bawah parameter bot_codes dalam format berikut: "client_id client_secret user_agent" sebagai elemen daftar yang dipisahkan oleh , .
• Docker-compose (Hanya untuk penerapan dockerized): Instal versi terbaru dengan mengikuti tautan ini.

Menginstal

• Buat lingkungan python dan instal paket yang diperlukan untuk prapemrosesan menggunakan: python3 -m pip install -r ./preprocess_requirements.txt
• Menyusun kumpulan data kiriman Reddit
  • Mengikis postingan
    • API Pushshift digunakan untuk mengambil kiriman Reddit. Di direktori root, jalankan perintah berikut: python3 ./pre_processing/scraping/questions/scrape_questions.py . Ini meluncurkan skrip yang menghapus subreddit secara berurutan hingga awal dan menyimpan kiriman sebagai objek JSON di /pre_processing/scraping/questions/scraped_questions . Kemudian mempartisi kiriman yang tergores menjadi bagian yang sama sebanyak jumlah bot yang terdaftar.
  • Mengikis komentar
    • Setelah mengisi konfigurasi dengan bot_codes , kita dapat mulai menyalin komentar menggunakan file kiriman yang dipartisi yang dibuat saat menyalin kiriman. Menggunakan perintah berikut: python3 ./pre_processing/scraping/comments/scrape_comments.py beberapa proses muncul yang mengambil aliran komentar secara bersamaan.
  • Insersi
    • Untuk menyisipkan kiriman dan komentar terkait, gunakan perintah berikut: python3 ./pre_processing/db_insertion/insertion.py . Itu menyisipkan posting dan komentar terkait di mongo.
    • Untuk membersihkan komentar dan menandai postingan yang tidak bersifat publik karena alasan apa pun, Jalankan python3 ./post_processing/post_processing.py . Selain membersihkan, ia juga menambahkan emoji ke setiap objek pengiriman (Perilaku ini dapat dikonfigurasi).
• Membuat Indeks FAISS
  • Untuk membuat indeks FAISS, jalankan perintah berikut: python3 ./index/build_index.py . Secara default, ini membuat IDMap, Flat tetapi dapat dikonfigurasi melalui /config .
• Dump database (Untuk penerapan docker)
  • Untuk penerapan docker, dump database diperlukan di /mongo_dump . Gunakan perintah berikut di direktori root untuk membuat dump database. mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump .

Eksekusi

• Penerapan lokal (Menggunakan Gunicorn)
  • Buat lingkungan python dan instal paket yang diperlukan menggunakan perintah berikut: python3 -m pip install -r ./inference_requirements.txt
  • Contoh lokal Kroomsa dapat disebarkan menggunakan perintah berikut: gunicorn -c ./gunicorn_config.py server:app
• Demo yang di-docker
  • Setel demo_mode ke True di /config .
  • Bangun gambar: docker-compose build
  • Deploy: docker-compose up

Penulis

• Aakash chawla
• Divyanshu Kalra

Lisensi

Proyek ini dilisensikan di bawah Lisensi Apache Versi 2.0