vector search api

使用全文搜索和矢量搜索的混合搜索

• 这是一个使用 llama LLM 模型生成嵌入的搜索函数 (1024)
• 嵌入利用 pgvector 库存储在 posgres 中
• 用 ExpressJS 编写的 REST 端点

设置说明

请按照以下步骤设置并运行项目：

1. 安装 PostgreSQL

   • 从 Postgres App 下载并安装 Postgres.app 和 PostgreSQL 16。
   • 打开 Postgres.app，初始化 PostgreSQL，然后转到服务器设置。
   • 选择您的系统名称的用户并将密码更改为admin 。
   • 启动 PostgreSQL 服务器。

2. 配置项目

   • 导航到项目目录中的config文件夹。
   • 打开db.js并更新第 3 行：
     • 将用户名和数据库名称从mayanksharma更改为您的系统用户名。

3. 设置数据库

   • 在 Postgres 应用程序中，使用您的用户名双击数据库以打开终端。
   • 在终端中运行以下命令：

     CREATE EXTENSION vector;

4. 安装奥拉马

   • 从 Ollama Download 下载并安装 Ollama。
   • 安装完成后，根据提示不要运行任何模型。
   • 打开终端或命令提示符并运行：

     ollama pull snowflake-arctic-embed

   • 再次强调，安装后不要按照提示运行任何模型。

5. 安装项目依赖项

   • 在项目终端中，运行以下命令安装依赖项并启动服务器：

     npm install
     node server.js

6. 安装 REST 客户端扩展

   • 为您的代码编辑器下载并安装“REST 客户端”扩展（蓝色图标）。

7. 测试API

   • 在项目的根目录中，打开api.http文件以测试 API 端点。

其他资源

• Postgres 应用程序
• 奥拉玛下载

---

API文档和使用示例

• POST: /api/v1/magazine/hybridsearch/[ page_number ]返回混合搜索结果
  • 1. 搜索端点内容类型：application/json

       {
          "query" : " your_search_query "
       }

仅用于添加数据，不属于任务提交的一部分

• POST: /api/v1/magazine添加杂志端点
  • 1. 搜索端点内容类型：application/json

       {
          "title" : " magazine_title " ,
          "author" : " author_name " ,
          "category" : " magazine_category " ,
          "content" : " magazine_content "
        }

---

绩效报告

性能考虑

我将 PostgreSQL 与 pgvector（存储嵌入向量）和 tsvector（存储内容文本）一起使用。

需求：从100万条记录中搜索

• 添加了分层可导航小世界（HNSW）索引，用于内容嵌入上的矢量搜索原因：搜索需要高召回率，这使得 hnsw 比 ivfflat 更好参考

  • 矢量 IP 操作
  • 矢量余弦运算
  • 矢量_l1_操作

• 添加了标题、作者和内容的索引

  • GIN 索引用于 TSVECTOR 数据类型中的内容

• 添加分页以减少加载时间

  • 查询中的限制和偏移

• 简介：巅峰

• 虚拟用户： 20

• 测试时间： 5 分钟

• 端点命中： POST /api/v1/magazine/hybridsearch/1（“glasgow”、“game”、“business”、“shubham”、“food”和“modern”）

• 发送的请求总数： 10,915

• 每秒请求数： 35.62

• 平均响应时间： 116 毫秒

---

混合搜索实现解释

使用两个单独的文本搜索和矢量搜索服务

嵌入是由Meta llama“雪花-北极-嵌入”模型生成的，是轻量级的。

• 第 1 步：首先显示矢量和全文搜索结果中的常见对象，

• 第 2 步：接下来是仅文本搜索的对象，

• 第 3 步：矢量搜索中的其余对象。

---

结果的相关性测试

• 查询：向量“glasgow”，返回“凯尔特盛宴日记”，其中包含“苏格兰内容”

• 查询：向量“shortbread”，返回“凯尔特盛宴日记”，因为“shortbread”与“苏格兰”相关

• 查询：关键字/全文“shubham”，返回作者姓名为“Shubham Thorve”的“Physics Refresher”

• 查询：关键字/全文“mayank”，返回作者姓名为“Mayank Khurana”的“Digit Gaming”

• 查询：关键字/全文“月份”，返回“Dalal Street Journal”，其内容为“本月有关视频游戏的所有内容”

数据库架构 ORM 位于/model

---