llm search

pyLLMSearch - 高級 RAG

文件

該套件的目的是提供一個方便的問答 (RAG) 系統，該系統具有基於 YAML 的簡單配置，可以與多個本地文件集合進行互動。除了基於 LLM 的基本 RAG 之外，還特別關注系統各個組件的改進 - 更好的文檔解析、混合搜索、啟用 HyDE 的搜索、聊天歷史記錄、深度鏈接、重新排名、自定義嵌入的能力等等。該軟體包旨在與自訂大型語言模型 (LLM) 配合使用——無論是來自 OpenAI 還是本地安裝。

特徵

• 支援的格式

  • 內建解析器：
    • .md - 根據標題、副標題和程式碼區塊等邏輯元件劃分檔案。支援其他功能，例如清理圖像連結、添加自訂元資料等。
    • .pdf - 基於 MuPDF 的解析器。
    • .docx - 自訂解析器，支援巢狀表。
  • Unstructured預處理器支援其他常見格式：
    • 格式清單請參閱此處。

• 支援透過開源 gmft (https://github.com/conjuncts/gmft) 或 Azure 文件智慧進行表格解析。

• 使用 Gemini API 可選擇支援影像解析。

• 支援文件的多個集合，並透過集合過濾結果。

• 能夠增量更新嵌入，而無需重新索引整個文件庫。

• 從文件資料夾產生密集嵌入並將其儲存在向量資料庫 (ChromaDB) 中。

  • 支援以下嵌入模型：
    • 擁抱臉部嵌入。
    • 基於句子轉換器的模型，例如multilingual-e5-base 。
    • 基於教師的模型，例如， instructor-large 。

• 使用 SPLADE (https://github.com/naver/splade) 產生稀疏嵌入以啟用混合搜尋（稀疏 + 密集）。

• 支援語義搜尋的「檢索和重新排名」策略，請參閱此處。

  • 除了原始的ms-marco-MiniLM交叉編碼器之外，還支援更現代的bge-reranker 。

• 支援 HyDE（假設文件嵌入） - 請參閱此處。

  • 警告：啟用 HyDE（透過配置或 web 應用程式）可能會顯著改變結果的品質。啟用前請務必閱讀本文。
  • 根據我自己的實驗，啟用 HyDE 可以顯著提高使用者無法使用該主題的領域特定語言制定問題的主題的輸出品質 - 例如，在學習新主題時。

• 支援多重查詢，靈感來自RAG Fusion - https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

  • 當開啟多個查詢（配置或 web 應用程式）時，原始查詢將被相同查詢的 3 個變體替換，從而可以彌合術語之間的差距，並根據文章「提供不同的角度或視角」。

• 支援帶有問題上下文的可選聊天歷史記錄

• 允許與嵌入文件交互，內部支援以下模型和方法（包括本地託管）：

  • OpenAI 模型（ChatGPT 3.5/4 和 Azure OpenAI）。
  • HuggingFace 型號。
  • Llama cpp 支援的型號 - 有關完整列表，請參閱此處。
  • AutoGPTQ 模型（因依賴項損壞而暫時停用）。

• 透過 OpenAI API 與 LiteLLM + Ollama 進行互通，支援數百種不同的模型（請參閱 LiteLLM 的模型配置）

• 其他特點

  • 簡單的 CLI 和 Web 介面。
  • 深入連結到文件部分 - 跳到單一 PDF 頁面或 Markdown 文件中的標題。
  • 能夠將回應保存到離線資料庫以供將來分析。
  • 實驗性API

示範

文件

瀏覽文件