Insurance Query engine

Model yang digunakan adalah "BAAI/bge-base-en-v1.5" dari pelukan wajah

1. Menyiapkan Qdrant dengan Docker

Untuk menjalankan Qdrant di container Docker, ikuti langkah-langkah berikut:

Tarik Gambar Docker Qdrant:

docker pull qdrant/qdrant

Jalankan Kontainer Qdrant:

docker run -p 6333:6333 qdrant/qdrant

2. Menginstal Perpustakaan yang Diperlukan

Sebelum menjalankan skrip apa pun, pastikan semua pustaka Python yang diperlukan telah diinstal:

pip install -r requirements.txt

3. Penggunaan ingest.py

Skrip ingest.py memproses dokumen PDF Insurance_Handbook.pdf, menghasilkan penyematan vektor dari teks, dan menyimpan penyematan ini dalam database vektor Qdrant.

Cara Kerja: Muat PDF: Membaca konten file PDF yang ditentukan. Pisahkan Teks: Membagi teks menjadi beberapa bagian yang dapat dikelola untuk menghasilkan penyematan. Setiap bagian mungkin sedikit tumpang tindih untuk menjaga konteks. Hasilkan Penyematan: Mengubah setiap potongan teks menjadi penyematan vektor menggunakan model yang telah dilatih sebelumnya. Simpan di Qdrant: Menyimpan embeddings yang dihasilkan dan teks terkait di database vektor Qdrant. Penggunaan: Jalankan perintah berikut untuk memproses dan menyerap data ke Qdrant:

python ingest.py 

4. Penggunaan app.py

Skrip app.py digunakan untuk menanyakan database vektor Qdrant untuk mengambil dokumen berdasarkan kueri yang disediakan pengguna.

Cara Kerjanya: Menyematkan Kueri: Mengonversi kueri masukan menjadi penyematan vektor menggunakan model yang sama yang digunakan untuk penyematan dokumen. Pencarian Kemiripan: Membandingkan penyematan kueri dengan penyematan yang disimpan di Qdrant untuk menemukan dokumen yang paling mirip. Mengembalikan Hasil: Mengambil dan menampilkan dokumen paling cocok berdasarkan skor kesamaan. Penggunaan: Jalankan perintah berikut untuk mulai membuat kueri:

python app.py

Pastikan container Qdrant berjalan dan data telah diserap menggunakan skrip ingest.py.