rag arena

Arena RAG

RAG Arena adalah proyek open-source Next.js yang dibuat oleh saya mendable.ai yang berinteraksi dengan LangChain untuk memberikan pengalaman chatbot RAG di mana pertanyaan menerima banyak tanggapan. Pengguna memberikan suara pada respons ini, yang kemudian tidak diburamkan untuk mengungkap Retriever yang digunakan, membedakan chatbot berdasarkan metode RAG datanya. Proyek ini menggunakan Supabase untuk operasi basis data dan menampilkan papan peringkat waktu nyata yang menampilkan data dari basis data.

Instalasi

Pastikan Anda telah menginstal pnpm di sistem Anda. Jika tidak, instal melalui:

npm install -g pnpm

Kloning repositori proyek:

git clone https://github.com/mendableai/rag-arena

Arahkan ke direktori proyek dan instal dependensi:

 cd RAG-arena
pnpm i

Konfigurasikan variabel lingkungan Anda:

 # probably in: https://platform.openai.com/api-keys
OPENAI_API_KEY=

# probably in: https://supabase.com/dashboard/ project>project settings>api
NEXT_PUBLIC_SUPABASE_URL=
NEXT_PUBLIC_SUPABASE_PRIVATE_KEY=

# probably in: https://console.upstash.com/redis/
UPSTASH_REDIS_REST_URL=
UPSTASH_REDIS_REST_TOKEN=

PRODUCTION=false

PYTHON_MICRO_SERVER=

Mulai server web pengembangan (nextjs):

pnpm dev

Menjalankan server python

 cd python_service

poetry install

*(jika tidak punya puisi tambahkan saja id menggunakan pip install puisi)

Mengaktifkan Penyimpanan Grafik Neo4j

Untuk Graph Rag retriever, Anda harus membuat penyimpanan grafik, atau membiarkan server secara otomatis menjalankan fungsi 'create_neo4j_graph_store' (dilokalkan di /python_service/retrievers/neo4j_retriever.py ) dengan menghapus komentar pada baris:

 # if not os.path.exists(storage_dir) or not os.listdir(storage_dir):
# create_neo4j_graph_store()

Ini akan memakan waktu cukup lama tergantung pada data yang digunakan dalam data/chunks . Pada akhirnya, direktori neo/storage Anda akan diisi dengan data yang disimpan untuk penyimpanan grafik secara lokal.

Memuat indeks untuk pertama kalinya

Anda perlu memuat indeks dan menyimpan cache agar Graph RAG dapat digunakan. Fungsi load_index() melakukan itu untuk Anda di dalam python_service/app.py . Jadi dalam eksekusi pertama Anda mungkin perlu beberapa saat untuk membuat file .pkl yang di-cache ditempatkan di python_service/index/cache .

Jalankan server flask secara lokal dengan mode debug

poetry run flask run --debug

Buka http://localhost:3000 dengan browser Anda untuk melihat hasilnya.

Ikhtisar Arsitektur

Sistem Penelanan

• Jalur: app/api/ingest/route.ts
• Deskripsi: Modul ini bertanggung jawab untuk memasukkan artikel ke dalam database vektor, sehingga dapat diambil untuk kueri di masa mendatang.
• Detail Implementasi:
  • Splitter: Memanfaatkan RecursiveCharacterTextSplitter dari LangChain untuk pemisahan teks yang efektif.
  • Penyematan: Memanfaatkan OpenAIEmbeddings untuk menghasilkan penyematan dokumen.
  • Penyimpanan: Menggunakan SupabaseVectorStore untuk menyimpan dokumen yang diproses di Supabase.

Retriever Dinamis

• Jalur: app/api/retrievers/dynamic-retriever/route.ts
• Deskripsi: Memilih dan menggunakan pengambilan yang berbeda secara dinamis berdasarkan masukan pengguna untuk mengambil dokumen yang relevan.
• Fitur Utama:
  • Pembatasan Tarif: Menerapkan pembatasan tarif untuk mengelola beban dan memastikan penggunaan wajar.
  • Dokumen RAG: Mengambil dokumen yang paling relevan dengan permintaan pengguna.
  • Integrasi OpenAI: Berinteraksi dengan API OpenAI untuk meningkatkan penyelesaian obrolan, didukung oleh SupabaseVectorStore untuk pencocokan dokumen.

Sistem Pemungutan Suara

• Jalur: actions/voting-system.ts
• Tujuan: Mengawasi logika di balik pemungutan suara untuk jawaban yang diambil, yang sangat penting untuk pembelajaran dan adaptasi sistem.
• Fungsi:
  • Pelacakan Suara: Memperbarui jumlah suara, waktu pengujian, dan peringkat Elo untuk setiap pengambilan.
  • Penyesuaian Elo: Menyesuaikan peringkat Elo berdasarkan rata-rata berapa kali retriever diuji, sehingga meningkatkan keadilan dan akurasi.

 // calculation used for the elo
function calculateEloAdjustment(timesTested: number, averageTimesTested: number): number {
    if (averageTimesTested === 0) return 10;
    const adjustmentFactor = timesTested / averageTimesTested;
    return (1 / adjustmentFactor) * 10;
}

Skema Basis Data

• Nama Tabel: Papan Peringkat
• Isi: Menyimpan data penting untuk setiap retriever, termasuk id , retriever , elo , votes , times_tested , full_name , description , dan link .

Ikhtisar Fungsi RAG

(https://js.langchain.com/docs/modules/data_connection/retrievers/)

Bagian ini menguraikan berbagai fungsi RAG yang ditentukan dalam app/api/retrievers/dynamic-retriever/tools/functions.ts , merinci tujuan dan implementasinya dalam arsitektur proyek. Fungsi-fungsi ini memainkan peran penting dalam proses RAG dokumen, memanfaatkan berbagai strategi dan teknologi untuk mengoptimalkan kinerja dan akurasi.

Toko Vektor

• Kapan Menggunakan: Ideal untuk pemula yang mencari solusi cepat dan mudah.
• Deskripsi: Fungsi ini memanfaatkan kesederhanaan pembuatan penyematan untuk setiap bagian teks, menjadikannya titik awal yang paling mudah diakses untuk RAG dokumen.

Dokumen Induk

• Kapan Digunakan: Paling baik untuk dokumen yang dibagi menjadi potongan informasi yang lebih kecil dan berbeda yang diindeks secara terpisah namun harus diambil secara keseluruhan.
• Deskripsi: Ini mengindeks beberapa potongan per dokumen, mengidentifikasi potongan yang paling mirip dalam ruang penyematan untuk mengambil seluruh dokumen induk, bukan hanya potongan individual.

Multi Vektor

• Kapan Digunakan: Cocok ketika Anda dapat mengekstrak informasi yang lebih relevan untuk pengindeksan daripada teks dokumen itu sendiri.
• Deskripsi: Membuat beberapa vektor untuk setiap dokumen, dengan setiap vektor berpotensi mewakili ringkasan teks, pertanyaan hipotetis, atau bentuk informasi saring lainnya.

Kompresi Kontekstual

• Kapan Digunakan: Berguna ketika dokumen yang diambil berisi informasi tidak relevan yang berlebihan, sehingga mengganggu respons kueri inti.
• Deskripsi: Menambahkan langkah pasca-pemrosesan ke pengambilan lain, hanya mengekstraksi informasi paling relevan dari dokumen yang diambil, yang dapat diselesaikan menggunakan penyematan atau LLM.

Tertimbang Waktu

• Kapan Digunakan: Ideal untuk dokumen dengan stempel waktu terkait, yang bertujuan untuk mengambil dokumen terbaru berdasarkan kesamaan semantik dan keterkinian.
• Deskripsi: Mengambil dokumen dengan menyeimbangkan kesamaan semantik dengan stempel waktu dokumen, memastikan dokumen terbaru diprioritaskan dalam proses RAG.

Pengambil Multi-Kueri

• Kapan Digunakan: Paling baik untuk kueri kompleks yang memerlukan banyak informasi berbeda untuk respons komprehensif.
• Deskripsi: Menghasilkan beberapa pertanyaan dari satu masukan, menjawab kebutuhan informasi di berbagai topik untuk menjawab pertanyaan awal sepenuhnya. Pendekatan ini mengambil dokumen untuk setiap kueri yang dihasilkan, memastikan respons menyeluruh.

Berkontribusi

Kontribusi dipersilakan! Harap ikuti alur kerja permintaan garpu & tarik standar. Pastikan Anda mematuhi gaya dan pola pengkodean yang ada dalam proyek dan menulis tes untuk fitur baru atau perbaikan bug.

Lisensi

RAG Arena bersifat open source dan dirilis di bawah Lisensi MIT. Lihat file LISENSI untuk informasi lebih lanjut.