llm search

pyLLMSearch - RAG Tingkat Lanjut

Dokumentasi

Tujuan dari paket ini adalah untuk menawarkan sistem tanya jawab (RAG) yang nyaman dengan konfigurasi berbasis YAML sederhana yang memungkinkan interaksi dengan beberapa koleksi dokumen lokal. Perhatian khusus diberikan pada perbaikan dalam berbagai komponen sistem selain RAG dasar berbasis LLM - penguraian dokumen yang lebih baik, pencarian hibrid, pencarian yang diaktifkan HyDE, riwayat obrolan, tautan dalam, pemeringkatan ulang, kemampuan untuk menyesuaikan penyematan, dan banyak lagi . Paket ini dirancang untuk bekerja dengan Model Bahasa Besar (LLM) khusus – baik dari OpenAI atau diinstal secara lokal.

Fitur

• Format yang didukung

  • Parser bawaan:
    • .md - Membagi file berdasarkan komponen logis seperti judul, subjudul, dan blok kode. Mendukung fitur tambahan seperti membersihkan tautan gambar, menambahkan metadata khusus, dan banyak lagi.
    • .pdf - parser berbasis MuPDF.
    • .docx - parser khusus, mendukung tabel bersarang.
  • Format umum lainnya didukung oleh pra-prosesor Unstructured :
    • Daftar format lihat di sini.

• Dukungan untuk penguraian tabel melalui gmft sumber terbuka (https://github.com/conjuncts/gmft) atau Azure Document Intelligence.

• Dukungan opsional untuk penguraian gambar menggunakan Gemini API.

• Mendukung banyak koleksi dokumen, dan memfilter hasilnya berdasarkan koleksi.

• Kemampuan untuk memperbarui penyematan secara bertahap, tanpa perlu mengindeks ulang seluruh basis dokumen.

• Menghasilkan penyematan padat dari folder dokumen dan menyimpannya dalam database vektor (ChromaDB).

  • Model penyematan berikut didukung:
    • Embedding Wajah Memeluk.
    • Model berbasis kalimat-transformator, misalnya multilingual-e5-base .
    • Model berbasis instruktur, misalnya instructor-large .

• Menghasilkan penyematan jarang menggunakan SPLADE (https://github.com/naver/splade) untuk mengaktifkan pencarian hibrid (jarang + padat).

• Mendukung strategi "Ambil dan Beri Peringkat Ulang" untuk pencarian semantik, lihat di sini.

  • Selain cross-encoder ms-marco-MiniLM yang asli, bge-reranker yang lebih modern juga didukung.

• Mendukung HyDE (Hypothetical Document Embeddings) - lihat di sini.

  • PERINGATAN: Mengaktifkan HyDE (melalui config ATAU webapp) dapat mengubah kualitas hasil secara signifikan. Harap pastikan untuk membaca koran sebelum mengaktifkannya.
  • Dari percobaan saya sendiri, mengaktifkan HyDE secara signifikan meningkatkan kualitas output pada topik di mana pengguna tidak dapat merumuskan pertanyaan menggunakan bahasa domain spesifik dari topik tersebut - misalnya ketika mempelajari topik baru.

• Dukungan untuk multi-kueri, terinspirasi oleh RAG Fusion - https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

  • Saat multi-kueri diaktifkan (baik konfigurasi atau aplikasi web), kueri asli akan digantikan oleh 3 varian kueri yang sama, memungkinkan untuk menjembatani kesenjangan dalam terminologi dan "menawarkan sudut pandang atau perspektif berbeda" menurut artikel.

• Mendukung riwayat obrolan opsional dengan kontekstualisasi pertanyaan

• Memungkinkan interaksi dengan dokumen yang disematkan, secara internal mendukung model dan metode berikut (termasuk yang dihosting secara lokal):

  • Model OpenAI (ChatGPT 3.5/4 dan Azure OpenAI).
  • Model HuggingFace.
  • Model yang didukung Llama cpp - untuk daftar lengkap lihat di sini.
  • Model AutoGPTQ (dinonaktifkan sementara karena dependensi rusak).

• Interoperabilitas dengan LiteLLM + Ollama melalui OpenAI API, mendukung ratusan model berbeda (lihat Konfigurasi model untuk LiteLLM)

• Fitur lainnya

  • CLI sederhana dan antarmuka web.
  • Tautan dalam ke bagian dokumen - melompat ke halaman PDF individual atau header di file penurunan harga.
  • Kemampuan untuk menyimpan respons ke database offline untuk analisis di masa mendatang.
  • API Eksperimental

Demo

Dokumentasi

Telusuri Dokumentasi