Il s'agit d'une démo de recherche multimodale construite avec Weaviate, ImageBind/Vertex AI et Next.js

???‍? Article de blog – Construire une IA multimodale en TypeScript

Texte alternatif

? Commencer

Tout d'abord, clonez le projet avec la commande ci-dessous

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

Le référentiel vous permet de faire trois choses

Exécutez l'application Web Next.js.
Exécutez une instance de Weaviate OU créez un Weaviate Sandbox
Importez des images, des audios et des vidéos dans votre base de données Weaviate.

Exécuter Weaviate (en utilisant ImageBind)

Notez que la première fois que vous l'exécuterez, Docker téléchargera le module Weaviate multi2vec-bind d'environ 4,8 Go, qui contient le modèle ImageBind.

Pour démarrer l'instance Weaviate, exécutez la commande suivante, qui utilisera le fichier docker-compose.yml .

docker compose up -d

Créer une instance Weaviate (à l'aide de Vertex AI)

Créez une instance Weaviate sur Weaviate Cloud Services comme décrit dans ce guide

? Créez un fichier `.env` et ajoutez les clés suivantes

votre clé API Google Vertex sous le nom GOOGLE_API_KEY (vous pouvez l'obtenir dans vos paramètres Vertex AI)
votre clé API Weaviate sous le nom WEAVIATE_ADMIN_KEY (vous pouvez l'obtenir dans votre tableau de bord Weaviate sous les détails du bac à sable)
votre URL d'hôte Weaviate sous la forme WEAVIATE_HOST_URL (vous pouvez l'obtenir dans votre tableau de bord Weaviate sous les détails du bac à sable)

? Importation de données

Avant de pouvoir importer des données, ajoutez des fichiers à leur type de média respectif dans le dossier public/ .

Avec vos données dans le bon dossier, exécutez yarn install pour installer toutes les dépendances du projet et pour importer vos données dans Weaviate et initialiser une collection, exécutez :