RAG_QA_LLM

RAG_Q&A_LLM

Dalam repositori ini, saya mempelajari pembuatan pusat berbagi pengetahuan dari sumber data saya sendiri di mana tim bisa mendapatkan wawasan dan jawaban dengan kemudahan percakapan, menggunakan teknik Tanya Jawab RAG, dengan potensi untuk melengkapi cara informasi dibagikan dalam keduanya. organisasi kecil dan besar.

Singkatnya, RAG Q&A (Retrieval-Augmented Generation Question and Answering) adalah kerangka kerja yang memadukan pendekatan berbasis pengambilan dan berbasis generasi. Ini menggunakan retriever untuk menemukan informasi yang relevan dan, biasanya, LLM (Large Language Model) sebagai generator untuk membuat jawaban yang kaya secara kontekstual. Menurut definisinya, LLM adalah jenis model AI yang mampu memahami dan menghasilkan bahasa mirip manusia, dilatih pada data teks dalam jumlah besar untuk mempelajari pola, struktur, dan konteks bahasa alami.

Saya membuat satu buku catatan menggunakan model Llama-2–7b-chat-hf gratis (dengan strategi kuantisasi 4-bit) untuk Google Colab, yang memungkinkan menjalankan perangkat lunak ini secara gratis, dan buku catatan lain menggunakan OpenAI chat-gpt-3.5- model turbo LLM menggunakan langganan OpenAI. Harap pastikan untuk menginstal persyaratan jika Anda akan menggunakan versi lokal.

Untuk kasus penggunaan ini, file dokumentasi penurunan harga diambil dari tiga sumber data berbeda:

• Dokumentasi Aplikasi Full-Stack: Proyek pribadi didokumentasikan dengan baik dengan file penurunan harga.
• Deskripsi Tabel SQL Singkat: Repositori yang mendokumentasikan beberapa tabel SQL pendek.
• Demo Confluence Space: Ruang pertemuan demo publik. Chatbot mengambil data dalam format penurunan harga.

Dokumen-dokumen ini dipilih karena merupakan cara umum bagi organisasi untuk mendokumentasikan dan melestarikan pengetahuan proyek mereka.

Chatbot terakhir mengekstraksi pengetahuan secara akurat, memberikan jawaban yang ringkas dan relevan, sekaligus menghubungkan dokumen yang digunakannya.