Dies ist eine Demo zur multimodalen Suche, die mit Weaviate, ImageBind/Vertex AI und Next.js erstellt wurde

???‍? Blogpost – Aufbau multimodaler KI in TypeScript

Alt-Text

? Erste Schritte

Klonen Sie zunächst das Projekt mit dem folgenden Befehl

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

Mit dem Repository können Sie drei Dinge tun

Führen Sie die Next.js-Webanwendung aus.
Führen Sie eine Instanz von Weaviate aus ODER erstellen Sie eine Weaviate-Sandbox
Importieren Sie Bilder, Audio und Videos in Ihre Weaviate-Datenbank.

Ausführen von Weaviate (mit ImageBind)

Beachten Sie, dass Docker bei der ersten Ausführung das ca. 4,8 GB große multi2vec-bind Weaviate-Modul herunterlädt, das das ImageBind-Modell enthält.

Um die Weaviate-Instanz zu starten, führen Sie den folgenden Befehl aus, der die Datei docker-compose.yml verwendet.

docker compose up -d

Erstellen Sie eine Weaviate-Instanz (mit Vertex AI)

Erstellen Sie eine Weaviate-Instanz auf Weaviate Cloud Services, wie in diesem Handbuch beschrieben

? Erstellen Sie eine `.env` Datei und fügen Sie die folgenden Schlüssel hinzu

Ihr Google Vertex API-Schlüssel als GOOGLE_API_KEY (Sie können diesen in Ihren Vertex AI-Einstellungen erhalten)
Ihr Weaviate-API-Schlüssel als WEAVIATE_ADMIN_KEY (Sie können diesen in Ihrem Weaviate-Dashboard unter Sandbox-Details abrufen)
Ihre Weaviate-Host-URL als WEAVIATE_HOST_URL (Sie können diese in Ihrem Weaviate-Dashboard unter Sandbox-Details abrufen)

? Daten importieren

Bevor Sie Daten importieren können, fügen Sie alle Dateien ihrem jeweiligen Medientyp im Ordner public/ hinzu.

Wenn sich Ihre Daten im richtigen Ordner befinden, führen Sie yarn install aus, um alle Projektabhängigkeiten zu installieren. Um Ihre Daten in Weaviate zu importieren und eine Sammlung zu initialisieren, führen Sie Folgendes aus: