Esta é uma demonstração de pesquisa multimodal construída com Weaviate, ImageBind/Vertex AI e Next.js

??‍? Blogpost - Construindo IA Multimodal em TypeScript

Texto alternativo

? Começando

Primeiro, clone o projeto com o comando abaixo

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

O repositório permite que você faça três coisas

Execute o aplicativo da web Next.js.
Execute uma instância do Weaviate OU crie um Weaviate Sandbox
Importe imagens, áudio e vídeos para seu banco de dados Weaviate.

Executando o Weaviate (usando ImageBind)

Observe que na primeira vez que você executá-lo, o Docker fará o download do módulo Weaviate multi2vec-bind de aproximadamente 4,8 GB, que contém o modelo ImageBind.

Para iniciar a instância do Weaviate, execute o seguinte comando, que usará o arquivo docker-compose.yml .

docker compose up -d

Crie uma instância Weaviate (usando Vertex AI)

Crie uma instância do Weaviate no Weaviate Cloud Services conforme descrito neste guia

? Crie um arquivo `.env` e adicione as seguintes chaves

sua chave de API do Google Vertex como GOOGLE_API_KEY (você pode obtê-la nas configurações do Vertex AI)
sua chave de API do Weaviate como WEAVIATE_ADMIN_KEY (você pode obtê-la no painel do Weaviate nos detalhes do sandbox)
seu URL de host do Weaviate como WEAVIATE_HOST_URL (você pode obtê-lo no painel do Weaviate nos detalhes do sandbox)

? Importando Dados

Antes de importar dados, adicione quaisquer arquivos ao seu respectivo tipo de mídia na pasta public/ .

Com seus dados na pasta certa, execute yarn install para instalar todas as dependências do projeto e para importar seus dados para o Weaviate e inicializar uma coleção, execute: