next multimodal search demo

Weaviate, ImageBind/Vertex AI 및 Next.js로 구축된 다중 모드 검색 데모입니다.

??‍? 블로그 게시물 - TypeScript에서 멀티모달 AI 구축

? 시작하기

먼저 아래 명령을 사용하여 프로젝트를 복제합니다.

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

저장소를 사용하면 세 가지 작업을 수행할 수 있습니다.

1. Next.js 웹 앱을 실행하세요.
2. Weaviate 인스턴스를 실행하거나 Weaviate Sandbox를 생성하세요.
3. 이미지, 오디오 및 비디오를 Weaviate 데이터베이스로 가져옵니다.

Weaviate 실행(ImageBind 사용)

처음 실행하면 Docker는 ImageBind 모델이 포함된 ~4.8GB multi2vec-bind Weaviate 모듈을 다운로드합니다.

Weaviate 인스턴스를 시작하려면 docker-compose.yml 파일을 사용하는 다음 명령을 실행합니다.

docker compose up -d

Weaviate 인스턴스 생성(Vertex AI 사용)

이 가이드에 설명된 대로 Weaviate Cloud Services에서 Weaviate 인스턴스를 생성합니다.

? .env 파일을 생성하고 다음 키를 추가하세요.

• Google Vertex API 키는 GOOGLE_API_KEY (Vertex AI 설정에서 얻을 수 있음)
• Weaviate API 키는 WEAVIATE_ADMIN_KEY 입니다(Weaviate 대시보드의 샌드박스 세부정보에서 확인할 수 있습니다).
• Weaviate 호스트 URL은 WEAVIATE_HOST_URL 입니다(Weaviate 대시보드의 샌드박스 세부정보에서 확인할 수 있습니다).

? 데이터 가져오기

데이터를 가져오기 전에 public/ 폴더의 해당 미디어 유형에 파일을 추가하세요.

데이터를 올바른 폴더에 넣은 상태에서 yarn install 실행하여 모든 프로젝트 종속성을 설치하고 데이터를 Weaviate로 가져오고 컬렉션을 초기화하려면 다음을 실행하세요.

yarn run import

1~2분 정도 걸릴 수 있습니다.

Next.js 애플리케이션을 실행합니다.

Next.js 웹 앱을 시작하기 전에 가져온 데이터로 Weaviate 인스턴스가 실행되고 있는지 확인하세요.

웹 앱을 실행하려면

yarn dev

...그리고 검색도 가능해요!!

자원

다중 모드 애플리케이션에 대해 자세히 알아보기

• 다중 모드 검색 증강 생성(RAG)
• 다중 모드 임베딩 모델

??‍♂️ 문제 해결

• Weaviate 문서를 확인하세요
• 이슈 열기

Spirals 템플릿을 제작한 Steven의 공로가 일부 인정됩니다.