LLM lokal dengan RAG

LLM lokal dengan RAG

Proyek ini adalah kotak pasir eksperimental untuk menguji ide-ide terkait menjalankan Model Bahasa Besar (LLM) lokal dengan Ollama untuk melakukan Retrieval-Augmented Generation (RAG) untuk menjawab pertanyaan berdasarkan contoh PDF. Dalam proyek ini, kami juga menggunakan Ollama untuk membuat penyematan dengan teks penyematan nomic untuk digunakan dengan Chroma. Harap perhatikan bahwa penyematan dimuat ulang setiap kali aplikasi dijalankan, yang tidak efisien dan hanya dilakukan di sini untuk tujuan pengujian.

Ada juga UI web yang dibuat menggunakan Streamlit untuk memberikan cara berbeda dalam berinteraksi dengan Ollama.

Persyaratan

• Ollama versi 0.1.26 atau lebih tinggi.

Pengaturan

1. Kloning repositori ini ke mesin lokal Anda.
2. Buat lingkungan virtual Python dengan menjalankan python3 -m venv .venv .
3. Aktifkan lingkungan virtual dengan menjalankan source .venv/bin/activate di Unix atau MacOS, atau ..venvScriptsactivate di Windows.
4. Instal paket Python yang diperlukan dengan menjalankan pip install -r requirements.txt .

Menjalankan Proyek

Catatan: Pertama kali Anda menjalankan proyek, model yang diperlukan dari Ollama untuk LLM dan penyematannya akan diunduh. Ini adalah proses penyiapan satu kali dan mungkin memerlukan waktu tergantung pada koneksi internet Anda.

1. Pastikan lingkungan virtual Anda diaktifkan.
2. Jalankan skrip utama dengan python app.py -m -p untuk menentukan model dan jalur ke dokumen. Jika tidak ada model yang ditentukan, maka defaultnya adalah mistral. Jika tidak ada jalur yang ditentukan, maka defaultnya adalah Research yang terletak di repositori untuk tujuan contoh.
3. Secara opsional, Anda dapat menentukan model penyematan yang akan digunakan dengan -e . Jika tidak ditentukan, defaultnya adalah nomic-embed-text.

Ini akan memuat file PDF dan Markdown, menghasilkan penyematan, menanyakan koleksi, dan menjawab pertanyaan yang ditentukan di app.py .

Menjalankan UI Streamlit

1. Pastikan lingkungan virtual Anda diaktifkan.
2. Arahkan ke direktori yang berisi skrip ui.py
3. Jalankan aplikasi Streamlit dengan menjalankan streamlit run ui.py di terminal Anda.

Ini akan memulai server web lokal dan membuka tab baru di browser web default Anda tempat Anda dapat berinteraksi dengan aplikasi tersebut. Streamlit UI memungkinkan Anda memilih model, memilih folder, menyediakan cara yang lebih mudah dan intuitif untuk berinteraksi dengan sistem chatbot RAG dibandingkan dengan antarmuka baris perintah. Aplikasi akan menangani pemuatan dokumen, menghasilkan embeddings, menanyakan koleksi, dan menampilkan hasilnya secara interaktif.

Teknologi yang Digunakan

• Langchain: Pustaka Python untuk bekerja dengan Model Bahasa Besar
• Ollama: Sebuah platform untuk menjalankan model Bahasa Besar secara lokal.
• Chroma: Database vektor untuk menyimpan dan mengambil embeddings.
• PyPDF: Pustaka Python untuk membaca dan memanipulasi file PDF.
• Streamlit: Kerangka web untuk membuat aplikasi interaktif untuk pembelajaran mesin dan proyek ilmu data.