Document Question Answering GenAI

Pertanyaan Dokumen Menjawab Menggunakan LLMS

Proyek ini membangun aplikasi yang menjawab pertanyaan dokumen yang ditenagai oleh model bahasa besar (LLM) seperti FALCON-7B dan Dolly-V2-3B menggunakan Langchain, database Vektor Chromadb. Itu digunakan pada streamlit.

Tautan ke Aplikasi: https://document-question-answering-kedarghule.streamlit.app/

Catatan: Karena masalah memori dengan streamlit, aplikasi tersebut kadang -kadang tidak berfungsi dan memberikan kesalahan. Ini karena batas memori 1GB oleh StreamLit. Berikut adalah video yang menunjukkan cara kerja aplikasi: https://drive.google.com/file/d/1nkvdqdx1emwtzqhkyzu_2ijzgog-us8o/view?usp=sharing

Document.question.answeing.by.kedar.ghule .-. Made.with.clipchamp.1.1.mp4

Pernyataan masalah

Di era informasi yang berlebihan saat ini, individu dan organisasi dihadapkan dengan tantangan untuk mengekstraksi informasi yang relevan secara efisien dari sejumlah besar data tekstual. Mesin pencari tradisional sering gagal dalam memberikan jawaban yang tepat dan sadar konteks untuk pertanyaan spesifik yang diajukan oleh pengguna. Akibatnya, ada kebutuhan yang berkembang untuk teknik pemrosesan bahasa alami canggih (NLP) untuk memungkinkan sistem penjawab pertanyaan dokumen yang akurat (DQA).

Tujuan dari proyek ini adalah untuk mengembangkan aplikasi yang menjawab pertanyaan dokumen yang ditenagai oleh model bahasa besar (LLM), seperti Falcon-7b dan Dolly-V2-3B, menggunakan platform Langchain dan database vektor Chromadb. Dengan memanfaatkan kemampuan LLMS, aplikasi ini bertujuan untuk memberikan pengguna jawaban yang akurat dan komprehensif untuk pertanyaan mereka dalam corpus dokumen yang diberikan.

Metodologi

• Loading Dokumen : Aplikasi mendukung pengunggahan file .txt dan file .docx . Setelah diunggah, file .docx dikonversi ke file .txt . Menggunakan Langchain, dokumen dimuat menggunakan TextLoader.
• Pemisahan Teks : Selanjutnya, kami membagi teks secara rekursif berdasarkan karakter. Untuk ini, kami menggunakan RecursivecharactertextSplitter. Pembagi teks ini adalah yang direkomendasikan untuk teks generik. Ukuran chunk ditentukan serta daftar pemisah.
• Menghasilkan Embeddings : Kelas HuggingFaceemBedDings () di Langchain menggunakan model embedding kalimat_transformers, lebih khusus model MPNet-base-V2.
• Database Vektor : Toko vektor menggunakan Chromadb digunakan untuk menyimpan data tertanam dan untuk melakukan operasi pencarian vektor.
• Pencarian Konteks : Bergantung pada pertanyaan pengguna, pencarian kesamaan dilakukan pada database vektor untuk mendapatkan konteks yang paling tepat untuk menjawab pertanyaan.
• Prompt Engineering : Konteks di atas, bersama dengan prompt yang disetujui dan pertanyaan pengguna dibuat.
• Inferensi Menggunakan LLMS : Bergantung pada pilihan pengguna, kami menggunakan Falcon-7b atau Dolly-V2-3B untuk inferensi kami. Kami meneruskan prompt yang direkayasa ke iklan model menampilkan respons model.