vector search api

使用全文搜尋和向量搜尋的混合搜尋

• 這是一個使用 llama LLM 模型產生嵌入的搜尋函數 (1024)
• 嵌入利用 pgvector 庫儲存在 posgres 中
• 用 ExpressJS 寫的 REST 端點

設定說明

請依照以下步驟設定並執行專案：

1. 安裝 PostgreSQL

   • 從 Postgres App 下載並安裝 Postgres.app 和 PostgreSQL 16。
   • 開啟 Postgres.app，初始化 PostgreSQL，然後前往伺服器設定。
   • 選擇具有您的系統名稱的使用者並將密碼變更為admin 。
   • 啟動 PostgreSQL 伺服器。

2. 配置專案

   • 導航到專案目錄中的config資料夾。
   • 開啟db.js並更新第 3 行：
     • 將使用者名稱和資料庫名稱從mayanksharma變更為您的系統使用者名稱。

3. 設定資料庫

   • 在 Postgres 應用程式中，使用您的使用者名稱雙擊資料庫以開啟終端。
   • 在終端機中執行以下命令：

     CREATE EXTENSION vector;

4. 安裝奧拉馬

   • 從 Ollama Download 下載並安裝 Ollama。
   • 安裝完成後，請根據提示不要執行任何模型。
   • 打開終端機或命令提示字元並運行：

     ollama pull snowflake-arctic-embed

   • 再次強調，安裝後不要按照提示執行任何模型。

5. 安裝專案依賴項

   • 在專案終端中，執行以下命令安裝依賴項並啟動伺服器：

     npm install
     node server.js

6. 安裝 REST 用戶端擴展

   • 為您的程式碼編輯器下載並安裝「REST 用戶端」擴充功能（藍色圖示）。

7. 測試API

   • 在專案的根目錄中，開啟api.http檔案以測試 API 端點。

其他資源

• Postgres 應用程式
• 奧拉瑪下載

---

API文件和使用範例

• POST: /api/v1/magazine/hybridsearch/[ page_number ]傳回混合搜尋結果
  • 1. 搜尋端點內容類型：application/json

       {
          "query" : " your_search_query "
       }

僅用於新增數據，不屬於任務提交的一部分

• POST: /api/v1/magazine新增雜誌端點
  • 1. 搜尋端點內容類型：application/json

       {
          "title" : " magazine_title " ,
          "author" : " author_name " ,
          "category" : " magazine_category " ,
          "content" : " magazine_content "
        }

---

績效報告

性能考慮

我將 PostgreSQL 與 pgvector（儲存嵌入向量）和 tsvector（儲存內容文字）一起使用。

需求：從100萬筆記錄中搜尋

• 新增了分層可導航小世界（HNSW）索引，用於內容嵌入上的向量搜尋原因：搜尋需要高召回率，這使得 hnsw 比 ivfflat 更好參考

  • 向量 IP 操作
  • 向量餘弦操作
  • 向量_l1_操作

• 新增了標題、作者和內容的索引

  • GIN 索引用於 TSVECTOR 資料類型中的內容

• 新增分頁以減少載入時間

  • 查詢中的限制和偏移

• 簡介：巔峰

• 虛擬用戶： 20

• 測驗時間： 5 分鐘

• 端點命中： POST /api/v1/magazine/hybridsearch/1（“glasgow”、“game”、“business”、“shubham”、“food”和“modern”）

• 發送的請求總數： 10,915

• 每秒請求數： 35.62

• 平均反應時間： 116 毫秒

---

混合搜尋實作解釋

使用兩個單獨的文字搜尋和向量搜尋服務

嵌入是由Meta llama“雪花-北極-嵌入”模型產生的，是輕量級的。

• 步驟 1：首先顯示向量和全文搜尋結果中的常見對象，

• 第 2 步：接下來是僅文字搜尋的對象，

• 步驟 3：向量搜尋中的其餘物件。

---

結果的相關性測試

• 查詢：向量“glasgow”，返回“凱爾特盛宴日記”，其中包含“蘇格蘭內容”

• 查詢：向量“shortbread”，返回“凱爾特盛宴日記”，因為“shortbread”與“蘇格蘭”相關

• 查詢：關鍵字/全文“shubham”，傳回作者姓名為“Shubham Thorve”的“Physics Refresher”

• 查詢：關鍵字/全文“mayank”，返回作者姓名為“Mayank Khurana”的“Digit Gaming”

• 查詢：關鍵字/全文“月份”，返回“Dalal Street Journal”，其內容為“本月有關視頻遊戲的所有內容”

資料庫架構 ORM 位於/model

---