pgvecto.rs

pgvecto.rs

pgvecto.rs adalah ekstensi Postgres yang menyediakan fungsi pencarian kesamaan vektor. Itu ditulis dalam Rust dan berdasarkan pgrx.

Perbandingan dengan vektor pg

Lihat pgvecto.rs vs pgvector untuk lebih jelasnya.

Fitur	pgvecto.rs	vektor pg
Penyaringan	Memperkenalkan metode VBASE untuk pencarian vektor dan kueri relasional (misalnya TopK Vektor Tunggal + Filter + Gabung).	Saat filter diterapkan, hasilnya mungkin tidak lengkap. Misalnya, jika awalnya Anda ingin membatasi hasil menjadi 10, Anda mungkin hanya mendapatkan 5 hasil dengan filter.
Dimensi Vektor	Mendukung hingga 65535 dimensi.	Mendukung hingga 2000 dimensi.
SIMD	Instruksi SIMD dikirimkan secara dinamis pada saat runtime untuk memaksimalkan kinerja berdasarkan kemampuan mesin tertentu.	Menambahkan pengiriman CPU untuk fungsi jarak di Linux x86-64" di 0.7.0.
Tipe Data	Memperkenalkan tipe data tambahan: vektor biner, FP16 (floating point 16-bit), dan INT8 (integer 8-bit).	-
Pengindeksan	Menangani penyimpanan dan memori indeks secara terpisah dari PostgreSQL	Mengandalkan mesin penyimpanan asli PostgreSQL
Dukungan WAL	Memberikan dukungan Write-Ahead Logging (WAL) untuk data, dukungan indeks sedang dalam proses.	Memberikan dukungan Write-Ahead Logging (WAL) untuk indeks dan data.

Dokumentasi

• Memulai
  • Ringkasan
  • Instalasi
• Penggunaan
  • Pengindeksan
  • Mencari
• Administrasi
  • Konfigurasi
  • Memutakhirkan dari versi yang lebih lama
• Pengembang
  • Tutorial Pengembangan

Mulai cepat

Untuk pengguna baru, kami menyarankan penggunaan image Docker untuk memulai dengan cepat.

docker run 
  --name pgvecto-rs-demo 
  -e POSTGRES_PASSWORD=mysecretpassword 
  -p 5432:5432 
  -d tensorchord/pgvecto-rs:pg16-v0.2.1

Kemudian Anda dapat terhubung ke database menggunakan alat baris perintah psql . Nama pengguna default adalah postgres , dan kata sandi default adalah mysecretpassword .

psql -h localhost -p 5432 -U postgres

Jalankan SQL berikut untuk memastikan ekstensi diaktifkan.

DROP EXTENSION IF EXISTS vectors;
CREATE EXTENSION vectors;

pgvecto.rs memperkenalkan tipe data baru vector(n) yang menunjukkan vektor berdimensi n. Tanda n di dalam tanda kurung menandakan dimensi vektor.

Anda bisa membuat tabel dengan SQL berikut.

 -- create table with a vector column

CREATE TABLE items (
  id bigserial PRIMARY KEY ,
  embedding vector( 3 ) NOT NULL -- 3 dimensions
);

Tip

vector(n) adalah tipe data yang valid hanya jika $1 leq n leq 65535$ . Karena keterbatasan PostgreSQL, dimungkinkan untuk membuat nilai bertipe vector(3) dari $5$ dimensi dan vector juga merupakan tipe data yang valid. Namun, Anda tetap tidak bisa memasangnya $0$ skalar atau lebih dari $65535$ skalar ke vektor. Jika Anda menggunakan vector untuk kolom atau ada beberapa nilai yang tidak cocok dengan dimensi yang ditunjukkan oleh kolom, Anda tidak akan dapat membuat indeks di dalamnya.

Anda kemudian dapat mengisi tabel dengan data vektor sebagai berikut.

 -- insert values

INSERT INTO items (embedding)
VALUES ( ' [1,2,3] ' ), ( ' [4,5,6] ' );

-- or insert values using a casting from array to vector

INSERT INTO items (embedding)
VALUES (ARRAY[ 1 , 2 , 3 ]:: real []), (ARRAY[ 4 , 5 , 6 ]:: real []);

Kami mendukung tiga operator untuk menghitung jarak antara dua vektor.

• <-> : kuadrat jarak Euclidean, didefinisikan sebagai $Sigma (x_i - y_i) ^ 2$ .
• <#> : perkalian titik negatif, didefinisikan sebagai $- Sigma x_iy_i$ .
• <=> : jarak kosinus, didefinisikan sebagai $1 - frac{Sigma x_iy_i}{sqrt{Sigma x_i^2 Sigma y_i^2}}$ .

 -- call the distance function through operators

-- squared Euclidean distance
SELECT ' [1, 2, 3] ' ::vector < - > ' [3, 2, 1] ' ::vector;
-- negative dot product
SELECT ' [1, 2, 3] ' ::vector < # > '[3, 2, 1]'::vector;
-- cosine distance
SELECT ' [1, 2, 3] ' ::vector <=> ' [3, 2, 1] ' ::vector;

Anda dapat mencari vektor seperti ini.

 -- query the similar embeddings
SELECT * FROM items ORDER BY embedding < - > ' [3,2,1] ' LIMIT 5 ;

Sebuah aplikasi Tanya-Jawab sederhana

Silakan simak tutorial aplikasi Tanya-Jawab.

Titik mengambang setengah presisi

Tipe vecf16 sama dengan vector dalam hal apa pun kecuali tipe skalar. Ini menyimpan angka floating point 16-bit. Jika Anda ingin mengurangi penggunaan memori untuk mendapatkan performa yang lebih baik, Anda dapat mencoba mengganti tipe vector dengan tipe vecf16 .

Peta jalan

Silakan periksa PETA JALAN. Ingin ikut serta? Selamat datang diskusi dan kontribusi!

• Ngobrol dengan kami di Discord
• Lihat good first issue ? masalah!

Berkontribusi?

Kami menyambut segala jenis kontribusi dari komunitas sumber terbuka, individu, dan mitra.

• Bergabunglah dengan komunitas perselisihan kami!
• Untuk membangun dari sumbernya, silakan baca dokumentasi kontribusi dan tutorial pengembangan kami.

Kontributor

Terima kasih kepada orang-orang hebat ini (kunci emoji):

Tambahkan kontribusi Anda

Proyek ini mengikuti spesifikasi semua kontributor. Kontribusi apa pun diterima!

Ucapan Terima Kasih

Berkat proyek-proyek berikut:

• pgrx - Kerangka ekstensi Postgres di Rust
• pgvector - Ekstensi Postgres untuk pencarian kesamaan vektor yang ditulis dalam C