experiments genai

Eksperimen Generasi AI

Daftar eksperimen pada ekosistem Gen AI

Pengaturan

Memasang

1. Instal dependensi

 create -m venv .venv
source .venv/bin/activate

pip3 install -r requirements.txt

2. Instal & jalankan model LLM di lokal menggunakan Ollama. Kunjungi halaman unduh (https://ollama.com/

   2.1 Llama2 - jalankan ollama run llama2 di terminal. Kunjungi untuk info lebih lanjut tentang llama2.

   2.2 Codellama - jalankan ollama run codellama di terminal. Kunjungi untuk info lebih lanjut tentang codellama.

Instal Milvus

Opsional, Hanya diperlukan saat menjalankan contoh Milvus

Pastikan penyimpanan vektor Milvus aktif dan berjalan sebelum menjalankan contoh yang bergantung pada Milvus.

1. Gunakan Docker Compose untuk pengaturan penyimpanan Milvus Vector. Jalankan sudo docker compose -f docker-compose-milvus.yml up -d dari root proyek.

Daftar Isi

Nama File/Folder	Kerangka kerja	Optimasi / Penyempurnaan	Saluran pipa
kain_pdf_1.py	Indeks Llama + Milvus	LAP	Muat Dir PDF, Ekstrak data dan indeks dengan cara yang naif, Sematkan indeks ke dalam penyimpanan vektor, Permintaan pengguna
kain_pdf_2.py	Indeks Llama	LAP	Muat Dir PDF, Ekstrak data dengan jendela Kalimat, Sematkan indeks ke penyimpanan lokal, Permintaan pengguna
kain_pdf_3.py	Indeks Llama + Milvus	LAP	Muat Dir PDF, Ekstrak data dengan jendela Kalimat, Sematkan indeks ke penyimpanan vektor, Permintaan pengguna
kain_pdf_4.py	Indeks Llama + Chroma	LAP	Segera hadir
kain_pdf_5.py	LlamaIndex + Biji Pinus	LAP	Segera hadir
kain_pdf_6.py	Indeks Llama + Qdrant	LAP	Segera hadir
kain_pdf_7.py	Indeks Llama + Ray + Milvus	LAP	Segera hadir
kain_pdf_8.py	Indeks Llama + Ray + Milvus	LAP	Segera hadir

Bagaimana Cara Berlari?

 python3 rag_pdf_1.py