next multimodal search demo

Esta es una demostración de búsqueda multimodal creada con Weaviate, ImageBind/Vertex AI y Next.js.

??‍? Entrada de blog: Creación de IA multimodal en TypeScript

? Empezando

Primero, clona el proyecto con el siguiente comando.

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

El repositorio te permite hacer tres cosas.

1. Ejecute la aplicación web Next.js.
2. Ejecute una instancia de Weaviate O cree un Weaviate Sandbox
3. Importe imágenes, audio y videos a su base de datos Weaviate.

Ejecutando Weaviate (usando ImageBind)

Tenga en cuenta que la primera vez que lo ejecute, Docker descargará el módulo Weaviate multi2vec-bind de ~4,8 GB, que contiene el modelo ImageBind.

Para iniciar la instancia de Weaviate, ejecute el siguiente comando, que utilizará el archivo docker-compose.yml .

docker compose up -d

Cree una instancia de Weaviate (usando Vertex AI)

Cree una instancia de Weaviate en Weaviate Cloud Services como se describe en esta guía

? Cree un archivo .env y agregue las siguientes claves

• su clave API de Google Vertex como GOOGLE_API_KEY (puede obtenerla en la configuración de Vertex AI)
• su clave API de Weaviate como WEAVIATE_ADMIN_KEY (puede obtenerla en su panel de control de Weaviate en los detalles de la zona de pruebas)
• su URL de host de Weaviate como WEAVIATE_HOST_URL (puede obtener esto en su panel de control de Weaviate en los detalles de la zona de pruebas)

? Importando datos

Antes de poder importar datos, agregue cualquier archivo a su tipo de medio respectivo en la carpeta public/ .

Con sus datos en la carpeta correcta, ejecute yarn install para instalar todas las dependencias del proyecto y para importar sus datos a Weaviate e inicializar una colección, ejecute:

yarn run import

esto puede tardar uno o dos minutos.

Ejecutando su aplicación Next.js.

Asegúrese de tener su instancia de Weaviate ejecutándose con datos importados antes de iniciar su aplicación web Next.js.

Para ejecutar la aplicación web

yarn dev

... y puedes buscar!!

Recursos

Obtenga más información sobre las aplicaciones multimodales

• Generación aumentada de recuperación multimodal (RAG)
• Modelos de incrustación multimodal

??‍♂️ Solución de problemas

• Consulte los documentos de Weaviate
• Abrir un problema

Parte del crédito es para Steven por su plantilla de Espirales.