ดาวน์โหลด vector search api - ดาวน์โหลด vector search api ซอร์สโค้ด

vector search api

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

การค้นหาแบบไฮบริดโดยใช้การค้นหาข้อความแบบเต็มและเวกเตอร์

นี่คือฟังก์ชันการค้นหาที่ใช้โมเดล llama LLM เพื่อสร้างการฝัง (1,024)
การฝังจะถูกจัดเก็บไว้ใน posgres โดยใช้ประโยชน์จากไลบรารี pgvector
จุดสิ้นสุด REST เขียนใน ExpressJS

คำแนะนำในการตั้งค่า

ทำตามขั้นตอนเหล่านี้เพื่อตั้งค่าและรันโครงการ:

ติดตั้ง PostgreSQL
- ดาวน์โหลดและติดตั้ง Postgres.app ด้วย PostgreSQL 16 จาก Postgres App
- เปิด Postgres.app เริ่มต้น PostgreSQL และไปที่การตั้งค่าเซิร์ฟเวอร์
- เลือกผู้ใช้ด้วยชื่อระบบของคุณและเปลี่ยนรหัสผ่านเป็น admin
- เริ่มเซิร์ฟเวอร์ PostgreSQL
กำหนดค่าโครงการ
- นำทางไปยังโฟลเดอร์ config ในไดเร็กทอรีโปรเจ็กต์
- เปิด db.js และอัปเดตบรรทัด 3:
  - เปลี่ยนชื่อผู้ใช้และชื่อฐานข้อมูลจาก mayanksharma เป็นชื่อผู้ใช้ระบบของคุณ
ตั้งค่าฐานข้อมูล
- ในแอป Postgres ให้ดับเบิลคลิกที่ฐานข้อมูลด้วยชื่อผู้ใช้ของคุณเพื่อเปิดเทอร์มินัล
- รันคำสั่งต่อไปนี้ในเทอร์มินัล:
```
CREATE EXTENSION vector;
```
ติดตั้ง Ollama
- ดาวน์โหลดและติดตั้ง Ollama จาก Ollama Download
- หลังการติดตั้ง ห้าม รันโมเดลใดๆ ตามที่ได้รับแจ้ง
- เปิดเทอร์มินัลหรือพรอมต์คำสั่งแล้วรัน:
```
ollama pull snowflake-arctic-embed
```
- ขอย้ำอีกครั้งว่า อย่า รันโมเดลใดๆ ตามที่ได้รับแจ้งหลังการติดตั้ง
ติดตั้งการพึ่งพาโครงการ
- ในเทอร์มินัลโปรเจ็กต์ ให้รันคำสั่งต่อไปนี้เพื่อติดตั้งการขึ้นต่อกันและเริ่มต้นเซิร์ฟเวอร์:
```
npm install
node server.js
```
ติดตั้งส่วนขยายไคลเอ็นต์ REST
- ดาวน์โหลดและติดตั้งส่วนขยาย "REST Client" (ไอคอนสีน้ำเงิน) สำหรับโปรแกรมแก้ไขโค้ดของคุณ
ทดสอบ API
- ในไดเรกทอรีรากของโปรเจ็กต์ ให้เปิดไฟล์ api.http เพื่อทดสอบตำแหน่งข้อมูล API

แหล่งข้อมูลเพิ่มเติม

แอพ Postgres
ดาวน์โหลด โอลามะ

เอกสารประกอบ API และตัวอย่างการใช้งาน

POST: /api/v1/magazine/hybridsearch/[ page_number ] ส่งคืนผลการค้นหาแบบไฮบริด
- 1. ค้นหาประเภทเนื้อหาปลายทาง: application/json
```
{
   "query" : " your_search_query "
}
```

สำหรับการเพิ่มข้อมูลเท่านั้นไม่ใช่ส่วนหนึ่งของการส่งงาน

POST: /api/v1/magazine เพิ่มจุดสิ้นสุดของนิตยสาร
- 1. ค้นหาประเภทเนื้อหาปลายทาง: application/json
```
{
   "title" : " magazine_title " ,
   "author" : " author_name " ,
   "category" : " magazine_category " ,
   "content" : " magazine_content "
 }
```

รายงานผลการปฏิบัติงาน

ข้อควรพิจารณาด้านประสิทธิภาพ

ฉันใช้ PostgreSQL กับ pgvector (จัดเก็บเวกเตอร์ที่ฝัง) และ tsvector (จัดเก็บข้อความเนื้อหา)

ข้อกำหนด: ค้นหาจาก 1 ล้านบันทึก

เพิ่มดัชนี Hierarchical Navigable Small Worlds (HNSW) สำหรับการค้นหาเวกเตอร์บนเนื้อหาที่ฝัง เหตุผล: การค้นหาจำเป็นต้องมีการเรียกคืนสูง ซึ่งทำให้ hnsw ดีกว่าการอ้างอิง ivfflat
- vector_ip_ops
- vector_cosine_ops
- vector_l1_ops
เพิ่มดัชนีสำหรับชื่อเรื่อง ผู้แต่ง และเนื้อหา
- การจัดทำดัชนี GIN ใช้สำหรับเนื้อหาในประเภทข้อมูล TSVECTOR
เพิ่มการแบ่งหน้าเพื่อลดเวลาในการโหลด
- จำกัดและชดเชยในแบบสอบถาม
โปรไฟล์: พีค
ผู้ใช้เสมือน: 20
ระยะเวลาการทดสอบ: 5 นาที
การเข้าถึงปลายทาง: POST /api/v1/magazine/hybridsearch/1 ("glasgow", "game", "business", "shubham", "food" และ "modern")
คำขอทั้งหมดที่ส่ง: 10,915
คำขอต่อวินาที: 35.62
เวลาตอบสนองเฉลี่ย: 116 ms

อธิบายการใช้งานการค้นหาแบบไฮบริด

มีการใช้บริการสองรายการสำหรับการค้นหาข้อความและการค้นหาเวกเตอร์

การฝังถูกสร้างขึ้นโดยโมเดล Meta llama "snowflake-arctic-embed" ซึ่งมีน้ำหนักเบา

ขั้นตอนที่ 1: ออบเจ็กต์ทั่วไปจากผลการค้นหาทั้งแบบเวกเตอร์และข้อความแบบเต็มจะแสดงก่อน
ขั้นตอนที่ 2: ตามด้วยวัตถุจากการค้นหาข้อความเท่านั้น
ขั้นตอนที่ 3: ส่วนที่เหลือของวัตถุจากการค้นหาเวกเตอร์

การทดสอบความเกี่ยวข้องสำหรับผลลัพธ์

คำค้นหา: เวกเตอร์ "กลาสโกว์" ส่งกลับ "บันทึกประจำวันของเซลติก" ซึ่งมี "สกอตแลนด์เขียนอยู่ในเนื้อหา"
แบบสอบถาม: เวกเตอร์ "ขนมชนิดร่วน" ส่งคืน "วารสารงานฉลองเซลติก" เนื่องจาก "ขนมชนิดร่วน" เกี่ยวข้องกับ "สกอตแลนด์"
ข้อความค้นหา: คีย์เวิร์ด/ข้อความเต็ม "shubham" ส่งคืน "Physics Refresher" ซึ่งมีชื่อผู้แต่ง "Shubham Thorve"
ข้อความค้นหา: คีย์เวิร์ด/ข้อความเต็ม "mayank" ส่งคืน "Digit Gaming" ซึ่งมีชื่อผู้แต่ง "Mayank Khurana"
คำค้นหา: คำหลัก/ข้อความแบบเต็ม "เดือน" ส่งคืน "Dalal Street Journal" ซึ่งมีเนื้อหา "ทั้งหมดเกี่ยวกับวิดีโอเกมเดือนนี้"