context search engine

Mesin Pencari Teks Kontekstual Menggunakan Data Vektor dan FAISS

Tujuan utama proyek ini adalah untuk menampilkan Kemampuan Pencarian Vektor dengan menyediakan antarmuka ramah pengguna yang memungkinkan pengguna melakukan pencarian kontekstual di seluruh kumpulan dokumen teks. Dengan memanfaatkan kekuatan BERT dari Hugging Face dan FAISS dari Facebook, kami mengembalikan bagian teks yang sangat relevan berdasarkan makna semantik dari kueri pengguna, bukan sekadar pencocokan kata kunci. Proyek ini berfungsi sebagai titik awal bagi pengembang, peneliti, dan peminat yang ingin mendalami dunia pencarian teks kontekstual dan menyempurnakan aplikasi mereka dengan teknik NLP yang canggih.

Tujuan saya adalah memastikan kita memahami database vektor di balik layar dari awal.

Tangkapan Layar Aplikasi :

1. Prasyarat

Agar dapat berjalan di sistem Anda, Anda dapat menginstal semua paket yang diperlukan melalui pip menggunakan file persyaratan:

pip install -r requirements.txt

Sekadar informasi, saya menggunakan Python 3.10.1.

Namun, jika Anda memiliki GPU, Anda diminta untuk menginstal FAISS GPU untuk integrasi database yang lebih cepat dan lebih besar.

2. Ruang Lingkup Proyek

Versi saat ini dari proyek ini meliputi:

• Antarmuka web dasar yang dibuat menggunakan Flask tempat pengguna dapat memasukkan dan mengirimkan kueri penelusuran mereka.
• Mesin pencari backend yang:
  • Mengubah kueri pengguna menjadi vektor semantik menggunakan Distil BERT.
  • Membandingkan vektor kueri secara efisien dengan kumpulan vektor yang telah diindeks sebelumnya (sesuai dengan dokumen teks) yang disimpan dalam indeks FAISS.
  • Mengembalikan bagian teks yang paling relevan secara kontekstual dari korpus.
  • Menyoroti kata kunci dalam bagian teks yang dikembalikan yang cocok secara kontekstual.

Meskipun proyek ini menawarkan sistem pencarian kontekstual yang fungsional, proyek ini dirancang bersifat modular, memungkinkan potensi perluasan dan integrasi ke dalam sistem atau aplikasi yang lebih besar.

3. Penjelasan Pendekatan Keseluruhan

Landasan proyek ini terletak pada keyakinan bahwa teknik NLP modern dapat menawarkan hasil pencarian yang jauh lebih akurat dan relevan secara kontekstual dibandingkan dengan metode tradisional berbasis kata kunci. Berikut rincian pendekatan kami:

1. Antarmuka Pengguna : Frontend, yang dibangun menggunakan Flask, berfungsi sebagai titik interaksi bagi pengguna. Itu tetap sederhana dan intuitif.
2. Vektorisasi Kueri : Saat pengguna mengirimkan kueri, sistem backend mengubahnya menjadi vektor semantik menggunakan Distil BERT. Vektor ini merangkum arti kueri.
3. Pencarian dengan FAISS : FAISS, perpustakaan pencarian kesamaan yang efisien, digunakan untuk membandingkan vektor kueri dengan cepat terhadap indeks vektor yang telah ditentukan sebelumnya dari korpus teks. Kecocokan yang paling dekat, dalam hal makna semantik, diidentifikasi.
4. Hasil yang Kembali : Setelah bagian teks yang paling relevan diidentifikasi, sistem juga menyoroti kata kunci atau frasa yang cocok dengan kueri pengguna secara kontekstual, memberikan isyarat visual kepada pengguna tentang mengapa bagian tertentu dianggap relevan.
5. Penyempurnaan Berulang : Model dan teknik yang mendasarinya terbuka untuk penyempurnaan berdasarkan penelitian terbaru, umpan balik pengguna, dan kebutuhan aplikasi spesifik.

Berdasarkan pendekatannya, saya membagi proyek menjadi 2 bagian:

Bagian 1: Menghasilkan Data Vektor yang Dapat Dicari

Di bagian ini, pertama-tama kita membaca masukan dari dokumen, memecahnya menjadi bagian-bagian yang lebih kecil, membuat vektor menggunakan model berbasis BERT, lalu menyimpannya secara efisien menggunakan FAISS. Berikut adalah diagram alir yang menggambarkan hal yang sama.

Kami membuat file Indeks FAISS yang berisi representasi vektor dari dokumen yang dipotong. Kami juga menyimpan indeks setiap potongan. Ini dipertahankan agar kita tidak perlu menanyakan database/dokumen lagi. Ini membantu kami menghilangkan operasi baca yang berlebihan.

Kami melakukan bagian ini menggunakan create_index.py. Ini akan menghasilkan 2 file di atas. Jika Anda perlu menggunakan model lain, Anda terbuka untuk melakukannya dari hub HuggingFace?

Catatan: Jika Anda menemukan masalah dalam menyiapkan hyperparameter untuk dimensi, periksa file model config.json untuk menemukan detail dimensi model yang Anda coba gunakan.

Bagian 2: Membangun Antarmuka Aplikasi yang Dapat Dicari

Di bagian ini, tujuan saya adalah membangun antarmuka yang memungkinkan pengguna berinteraksi dengan dokumen. Saya mengutamakan desain minimalis tanpa menimbulkan kendala tambahan.

4. Struktur Proyek

1. index.html : Halaman HTML front-end untuk memasukkan permintaan pencarian.
2. app.py : Aplikasi Flask yang melayani front-end dan menangani permintaan pencarian.
3. search_engine.py : Berisi logika untuk pembuatan penyematan, pencarian FAISS, dan penyorotan kata kunci.

/context_search/
    - templates/
        - index.html
    - static/
    	- css/
    		- style.css
    	- images/
    		- img1.png
    		- img2.png
    		- Approach.png files
    - app.py
    - search_engine.py
    - create_index.py
    - index_to_chunk.pkl
    - faiss_index.idx

5. Penggunaan

1. Pastikan Anda memiliki indeks FAISS terlatih ( faiss_index.idx ) dan pemetaan yang menyertainya dari indeks ke potongan teks ( index_to_chunk.pkl ).
2. Mulai aplikasi Flask:

 python app.py 
-- OR --
flask run --host=127.0.0.1 --port=5000

1. Buka browser web dan buka http://localhost:5000 .
2. Masukkan permintaan pencarian dan amati hasil yang relevan secara kontekstual.

6. Hal yang Harus Dilakukan - untuk Perbaikan

Selalu ada ruang untuk perbaikan. Berikut beberapa potensi peningkatan dan fitur tambahan yang dapat diintegrasikan:

1. Skalabilitas : Saat ini, sistem dibangun untuk perusahaan yang relatif lebih kecil. Pertimbangkan untuk memanfaatkan sistem terdistribusi atau solusi berbasis cloud untuk menangani kumpulan data yang lebih besar.
2. Penyorotan Tingkat Lanjut : Meningkatkan sistem penyorotan kata kunci untuk memastikan bahwa frasa yang relevan secara kontekstual (dan bukan hanya kata individual) yang disorot.
3. Putaran Umpan Balik : Menggabungkan mekanisme umpan balik pengguna di mana pengguna dapat menilai relevansi hasil yang dikembalikan. Ini dapat digunakan untuk menyempurnakan model di masa depan.
4. Dukungan untuk Berbagai Jenis Dokumen : Memperluas dukungan untuk berbagai jenis dokumen seperti PDF, DOCX, dll., memungkinkan pengguna untuk mencari dalam berbagai format.
5. Frontend yang Disempurnakan : Meningkatkan antarmuka pengguna, mungkin mengintegrasikan fitur-fitur canggih seperti pelengkapan otomatis, saran kueri, atau tampilan hasil yang lebih canggih.
6. Dukungan untuk Pencarian Multibahasa : Perluas sistem untuk mendukung kueri dalam berbagai bahasa, mengembalikan hasil dari korpus multibahasa.

7. Lisensi

Proyek ini berada di bawah Lisensi MIT. Jangan ragu untuk menggunakan dengan mengutip, memodifikasi, mendistribusikan, dan berkontribusi. Baca selengkapnya.

8. Berkontribusi

Jika Anda tertarik untuk meningkatkan proyek ini, kontribusi Anda diterima! Silakan buka Pull Request atau Issue pada repositori ini. Saya pada dasarnya memprioritaskan hal-hal di atas untuk dilakukan perbaikan. Permintaan penarikan lainnya juga akan dipertimbangkan tetapi kurang diprioritaskan.

Terima kasih sebelumnya atas minat Anda. :senang: .