vector search api

Гибридный поиск с использованием полнотекстового и векторного поиска

• Это функция поиска, которая использовала модель LLM ламы для создания вложений (1024).
• Вложения хранятся в posgres с использованием библиотеки pgvector.
• Конечная точка REST, написанная на ExpressJS

Инструкции по настройке

Выполните следующие шаги, чтобы настроить и запустить проект:

1. Установить PostgreSQL

   • Загрузите и установите Postgres.app с PostgreSQL 16 из приложения Postgres.
   • Откройте Postgres.app, инициализируйте PostgreSQL и перейдите к настройкам сервера.
   • Выберите пользователя с вашим системным именем и измените пароль на admin .
   • Запустите сервер PostgreSQL.

2. Настройте проект

   • Перейдите в папку config в каталоге проекта.
   • Откройте db.js и обновите строку 3:
     • Измените имя пользователя и имя базы данных с mayanksharma на имя пользователя вашей системы.

3. Настройте базу данных

   • В приложении Postgres дважды щелкните базу данных с вашим именем пользователя, чтобы открыть терминал.
   • Запустите следующую команду в терминале:

     CREATE EXTENSION vector;

4. Установить Олламу

   • Загрузите и установите Ollama с сайта Ollama Download.
   • После установки не запускайте ни одну модель по запросу.
   • Откройте терминал или командную строку и запустите:

     ollama pull snowflake-arctic-embed

   • Опять же, не запускайте никакую модель, как будет предложено после установки.

5. Установить зависимости проекта

   • В терминале проекта выполните следующие команды, чтобы установить зависимости и запустить сервер:

     npm install
     node server.js

6. Установите клиентское расширение REST.

   • Загрузите и установите расширение «REST Client» (синий значок) для вашего редактора кода.

7. Проверьте API

   • В корневом каталоге проекта откройте файл api.http чтобы протестировать конечные точки API.

Дополнительные ресурсы

• Приложение Постгрес
• Оллама Скачать

---

Документация API и примеры использования

• POST: /api/v1/magazine/hybridsearch/[ номер_страницы ] Возвращает результаты гибридного поиска.
  • 1. Тип контента конечной точки поиска: application/json

       {
          "query" : " your_search_query "
       }

Только для добавления данных, а не для отправки задачи.

• POST: /api/v1/magazine Добавить конечную точку журнала
  • 1. Тип контента конечной точки поиска: application/json

       {
          "title" : " magazine_title " ,
          "author" : " author_name " ,
          "category" : " magazine_category " ,
          "content" : " magazine_content "
        }

---

Отчет о производительности

Вопросы производительности

Я использовал PostgreSQL с pgvector (хранение векторов внедрения) и tsvector (хранение текста содержимого).

Требование: поиск по 1 миллиону записей

• Добавлены индексы Hierarchical Navigable Small Worlds (HNSW) для векторного поиска при внедрении контента. Причина: поиск требует высокой полноты, что делает hnsw лучше, чем ivfflat.

  • вектор_ip_ops
  • вектор_cosine_ops
  • вектор_l1_ops

• Добавлены указатели названия, автора и содержания.

  • Индексация GIN используется для содержимого типа данных TSVECTOR.

• Добавлена ​​нумерация страниц для сокращения времени загрузки.

  • предел и смещение в запросах

• Профиль: Пик

• Виртуальных пользователей: 20

• Продолжительность теста: 5 минут

• Обращение к конечной точке: POST /api/v1/magazine/hybridsearch/1 («Глазго», «игра», «бизнес», «шубхам», «еда» и «современный»).

• Всего отправлено запросов: 10 915.

• Запрос в секунду: 35,62

• Среднее время отклика: 116 мс

---

Объяснение реализации гибридного поиска

Используются два отдельных сервиса для текстового поиска и векторного поиска.

Вложения создаются по модели Metal llama «snowflake-arctic-embed», поскольку она легкая.

• ШАГ 1. Сначала отображаются общие объекты из результатов как векторного, так и полнотекстового поиска.

• ШАГ 2: далее следуют объекты только из текстового поиска,

• ШАГ 3: остальные объекты из векторного поиска.

---

Проверка релевантности результатов

• запрос: вектор «Глазго», вернуть «Журнал кельтских праздников», в содержании которого написано «Шотландия»

• запрос: вектор «песочное печенье», возвращает «журнал кельтского праздника», поскольку «песочное печенье» связано со словом «Шотландия».

• запрос: ключевое слово/полный текст «шубхам», возвращает «Переподготовка по физике», имя автора «Шубхам Торв».

• запрос: ключевое слово/полный текст «mayank», возвращает «Digit Gaming», имя автора которого «Mayank Khurana».

• запрос: ключевое слово/полнотекстовый «месяц», возвращает «Dalal Street Journal», содержащий содержание «Все о видеоиграх в этом месяце».

Схема базы данных ORM находится в /model

---