vector search api 다운로드 - vector search api 소스 코드 다운로드

vector search api

AI 소스 코드

1.0.0

다운로드

전체 텍스트 및 벡터 검색을 이용한 하이브리드 검색

라마 LLM 모델을 사용해 임베딩(1024)을 생성한 검색 기능입니다.
임베딩은 pgVector 라이브러리를 활용하여 posgres에 저장됩니다.
ExpressJS로 작성된 REST 엔드포인트

설정 지침

프로젝트를 설정하고 실행하려면 다음 단계를 따르세요.

PostgreSQL 설치
- Postgres 앱에서 PostgreSQL 16이 포함된 Postgres.app을 다운로드하고 설치합니다.
- Postgres.app을 열고 PostgreSQL을 초기화한 다음 서버 설정으로 이동합니다.
- 귀하의 시스템 이름을 가진 사용자를 선택하고 비밀번호를 admin 으로 변경하십시오.
- PostgreSQL 서버를 시작합니다.
프로젝트 구성
- 프로젝트 디렉터리의 config 폴더로 이동합니다.
- db.js 열고 라인 3을 업데이트합니다.
  - 사용자 이름과 데이터베이스 이름을 mayanksharma 에서 시스템 사용자 이름으로 변경합니다.
데이터베이스 설정
- Postgres 앱에서 사용자 이름이 있는 데이터베이스를 두 번 클릭하여 터미널을 엽니다.
- 터미널에서 다음 명령을 실행합니다.
```
CREATE EXTENSION vector;
```
올라마 설치
- Ollama Download에서 Ollama를 다운로드하여 설치하세요.
- 설치 후에는 메시지가 표시되는 대로 모델을 실행 하지 마세요 .
- 터미널이나 명령 프롬프트를 열고 다음을 실행합니다.
```
ollama pull snowflake-arctic-embed
```
- 다시 한번 말하지만, 설치 후 메시지가 표시되면 어떤 모델도 실행 하지 마세요 .
프로젝트 종속성 설치
- 프로젝트 터미널에서 다음 명령을 실행하여 종속 항목을 설치하고 서버를 시작합니다.
```
npm install
node server.js
```
REST 클라이언트 확장 설치
- 코드 편집기용 "REST 클라이언트" 확장(파란색 아이콘)을 다운로드하여 설치하세요.
API 테스트
- 프로젝트의 루트 디렉터리에서 api.http 파일을 열어 API 엔드포인트를 테스트합니다.

추가 리소스

포스트그레스 앱
올라마 다운로드

API 문서 및 사용 예

POST: /api/v1/magazine/hybridsearch/[ page_number ] 하이브리드 검색 결과를 반환합니다.
- 1. 검색 끝점 콘텐츠 유형: application/json
```
{
   "query" : " your_search_query "
}
```

작업 제출의 일부가 아닌 데이터 추가에만 사용됩니다.

POST: /api/v1/magazine 매거진 엔드포인트 추가

검색 끝점 콘텐츠 유형: application/json

{
   "title" : " magazine_title " ,
   "author" : " author_name " ,
   "category" : " magazine_category " ,
   "content" : " magazine_content "
 }

성과 보고서

성능 고려사항

저는 PostgreSQL을 pgVector(임베딩 벡터 저장) 및 tsVector(콘텐츠 텍스트 저장)와 함께 사용했습니다.

요구 사항: 100만 건의 기록에서 검색

콘텐츠 임베딩에 대한 벡터 검색을 위해 HNSW(Hierarchical Navigable Small Worlds) 인덱스를 추가했습니다. 이유: 검색에는 높은 재현율이 필요하므로 hnsw가 ivfflat보다 우수합니다.
- 벡터_ip_ops
- 벡터_코사인_ops
- 벡터_l1_ops
제목, 저자 및 내용에 대한 색인이 추가되었습니다.
- GIN 인덱싱은 TSVECTOR 데이터 유형의 콘텐츠에 사용됩니다.
로드 시간을 줄이기 위해 페이지 매김이 추가되었습니다.
- 쿼리의 제한 및 오프셋
프로필: 피크
가상 사용자: 20
테스트 시간: 5분
엔드포인트 히트: POST /api/v1/magazine/hybridsearch/1 ("glasgow", "game", "business", "shubham", "food" 및 "modern")
전송된 총 요청 수: 10,915
초당 요청: 35.62
평균 응답 시간: 116ms

하이브리드 검색 구현 설명

텍스트 검색과 벡터 검색을 위한 두 가지 개별 서비스가 사용됩니다.

임베딩은 경량인 Meta llama "snowflake-arctic-embed" 모델에 의해 생성됩니다.

1단계: 벡터 및 전체 텍스트 검색 결과의 공통 개체가 먼저 표시됩니다.
2단계: 텍스트 검색만으로 개체가 이어지며,
3단계: 벡터 검색의 나머지 개체.

결과에 대한 관련성 테스트

쿼리: 벡터 "glasgow", "Scotland write in content"가 있는 "Celtic Feast Journal"을 반환합니다.
쿼리: 벡터 "shortbread"는 "shortbread"가 "scotland"와 관련되어 있으므로 "Celtic Feast Journal"을 반환합니다.
쿼리: 키워드/전체 텍스트 "shubham", 작성자 이름이 "Shubham Thorve"인 "Physics Refresher"를 반환합니다.
쿼리: 키워드/전체 텍스트 "mayank", 작성자 이름이 "Mayank Khurana"인 "Digit Gaming"을 반환합니다.
쿼리: 키워드/전체 텍스트 "월", "이번 달 비디오 게임에 관한 모든 것"이라는 콘텐츠가 포함된 "달랄 스트리트 저널"을 반환합니다.