pgvecto.rs

pgvecto.rs

pgvecto.rs — это расширение Postgres, предоставляющее функции поиска по сходству векторов. Он написан на Rust и основан на pgrx.

Сравнение с pgvector

Проверьте pgvecto.rs против pgvector для получения более подробной информации.

Особенность	pgvecto.rs	pgvector
Фильтрация	Представляет метод VBASE для векторного поиска и реляционных запросов (например, одновекторный TopK + фильтр + объединение).	При применении фильтров результаты могут быть неполными. Например, если вы изначально намеревались ограничить количество результатов до 10, с помощью фильтров вы можете получить только 5 результатов.
Векторные размеры	Поддерживает до 65535 размеров.	Поддерживает до 2000 измерений.
SIMD	Инструкции SIMD динамически передаются во время выполнения, чтобы максимизировать производительность в зависимости от возможностей конкретной машины.	Добавлена ​​диспетчеризация ЦП для дистанционных функций в Linux x86-64" в версии 0.7.0.
Типы данных	Вводятся дополнительные типы данных: двоичные векторы, FP16 (16-битное число с плавающей запятой) и INT8 (8-битное целое число).	-
Индексирование	Управляет хранением и памятью индексов отдельно от PostgreSQL.	Опирается на собственный механизм хранения PostgreSQL.
Поддержка WAL	Обеспечивает поддержку ведения журнала упреждающей записи (WAL) для данных, поддержка индексов находится в стадии разработки.	Обеспечивает поддержку ведения журнала упреждающей записи (WAL) для индексов и данных.

Документация

• Начиная
  • Обзор
  • Установка
• Использование
  • Индексирование
  • Поиск
• Администрация
  • Конфигурация
  • Обновление со старых версий
• Разработчики
  • Руководство по разработке

Быстрый старт

Новым пользователям мы рекомендуем использовать образ Docker, чтобы быстро начать работу.

docker run 
  --name pgvecto-rs-demo 
  -e POSTGRES_PASSWORD=mysecretpassword 
  -p 5432:5432 
  -d tensorchord/pgvecto-rs:pg16-v0.2.1

Затем вы можете подключиться к базе данных с помощью инструмента командной строки psql . Имя пользователя по умолчанию — postgres , а пароль по умолчанию — mysecretpassword .

psql -h localhost -p 5432 -U postgres

Запустите следующий SQL-код, чтобы убедиться, что расширение включено.

DROP EXTENSION IF EXISTS vectors;
CREATE EXTENSION vectors;

pgvecto.rs представляет новый тип данных vector(n) обозначающий n-мерный вектор. Число n в скобках означает размерность вектора.

Вы можете создать таблицу со следующим SQL.

 -- create table with a vector column

CREATE TABLE items (
  id bigserial PRIMARY KEY ,
  embedding vector( 3 ) NOT NULL -- 3 dimensions
);

Кончик

vector(n) является допустимым типом данных, только если $1 leq n leq 65535$ . Из-за ограничений PostgreSQL можно создать значение типа vector(3) $5$ размеры и vector также являются допустимым типом данных. Однако вы все равно не можете поставить $0$ скаляр или более $65535$ скаляры к вектору. Если вы используете vector для столбца или некоторые значения не совпадают с размером, обозначенным столбцом, вы не сможете создать для него индекс.

Затем вы можете заполнить таблицу векторными данными следующим образом.

 -- insert values

INSERT INTO items (embedding)
VALUES ( ' [1,2,3] ' ), ( ' [4,5,6] ' );

-- or insert values using a casting from array to vector

INSERT INTO items (embedding)
VALUES (ARRAY[ 1 , 2 , 3 ]:: real []), (ARRAY[ 4 , 5 , 6 ]:: real []);

Мы поддерживаем три оператора для расчета расстояния между двумя векторами.

• <-> : квадрат евклидова расстояния, определяемый как $Сигма (x_i - y_i) ^ 2$ .
• <#> : отрицательное скалярное произведение, определяемое как $- Сигма x_iy_i$ .
• <=> : косинусное расстояние, определяемое как $1 - frac{Sigma x_iy_i}{sqrt{Sigma x_i^2 Sigma y_i^2}}$ .

 -- call the distance function through operators

-- squared Euclidean distance
SELECT ' [1, 2, 3] ' ::vector < - > ' [3, 2, 1] ' ::vector;
-- negative dot product
SELECT ' [1, 2, 3] ' ::vector < # > '[3, 2, 1]'::vector;
-- cosine distance
SELECT ' [1, 2, 3] ' ::vector <=> ' [3, 2, 1] ' ::vector;

Вы можете искать вектор просто так.

 -- query the similar embeddings
SELECT * FROM items ORDER BY embedding < - > ' [3,2,1] ' LIMIT 5 ;

Простое приложение для ответов на вопросы

Пожалуйста, ознакомьтесь с руководством по применению вопросов-ответов.

С плавающей запятой половинной точности

Тип vecf16 аналогичен vector во всех типах, кроме скалярного. Он хранит 16-битные числа с плавающей запятой. Если вы хотите уменьшить использование памяти для повышения производительности, вы можете попробовать заменить vector тип на тип vecf16 .

Дорожная карта

Пожалуйста, ознакомьтесь с ДОРОЖНОЙ КАРТОЙ. Хотите прыгнуть? Приветствуются обсуждения и вклады!

• Пообщайтесь с нами в Discord
• Посмотрите good first issue ? проблемы!

Способствовать ?

Мы приветствуем любой вклад со стороны сообщества открытого исходного кода, частных лиц и партнеров.

• Присоединяйтесь к нашему дискорд-сообществу!
• Чтобы выполнить сборку из исходного кода, прочтите нашу сопутствующую документацию и руководство по разработке.

Авторы

Спасибо этим замечательным людям (ключ смайлика):

Добавьте свой вклад

Этот проект соответствует спецификации всех участников. Любой вклад приветствуется!

Благодарности

Благодаря следующим проектам:

• pgrx — фреймворк расширения Postgres в Rust
• pgvector — расширение Postgres для поиска по сходству векторов, написанное на C.