Ini adalah demo Pencarian Multimodal yang dibuat dengan Weaviate, ImageBind/ Vertex AI, dan Next.js

??‍? Blogpost - Membangun AI Multimodal di TypeScript

teks alternatif

? Memulai

Pertama, kloning proyek dengan perintah di bawah ini

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

Repositori memungkinkan Anda melakukan tiga hal

Jalankan Aplikasi Web Next.js.
Jalankan instance Weaviate ATAU buat Weaviate Sandbox
Impor gambar, audio, dan video ke database Weaviate Anda.

Menjalankan Weaviate (menggunakan ImageBind)

Perhatikan bahwa pertama kali Anda menjalankannya, Docker akan mengunduh modul Weaviate multi2vec-bind ~4,8GB, yang berisi model ImageBind.

Untuk memulai instance Weaviate, jalankan perintah berikut, yang akan menggunakan file docker-compose.yml .

docker compose up -d

Membuat Instance Weaviate (Menggunakan Vertex AI)

Buat instans Weaviate di Layanan Cloud Weaviate seperti yang dijelaskan dalam panduan ini

? Buat file `.env` dan tambahkan kunci berikut

kunci Google Vertex API Anda sebagai GOOGLE_API_KEY (Anda bisa mendapatkannya di pengaturan Vertex AI Anda)
kunci API Weaviate Anda sebagai WEAVIATE_ADMIN_KEY (Anda bisa mendapatkannya di dasbor Weaviate Anda di bawah detail kotak pasir)
URL host Weaviate Anda sebagai WEAVIATE_HOST_URL (Anda bisa mendapatkannya di dasbor Weaviate Anda di bawah detail kotak pasir)

? Mengimpor Data

Sebelum Anda dapat mengimpor data, tambahkan file apa pun ke jenis medianya masing-masing di folder public/ .

Dengan data Anda di folder yang tepat, jalankan yarn install untuk menginstal semua dependensi proyek dan untuk mengimpor data Anda ke Weaviate dan menginisialisasi koleksi, jalankan: