next multimodal search demo

これは、Weaviate、ImageBind/Vertex AI、Next.js で構築されたマルチモーダル検索のデモです

??‍?ブログ投稿 - TypeScript でマルチモーダル AI を構築する

?はじめる

まず、以下のコマンドでプロジェクトのクローンを作成します。

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

リポジトリを使用すると 3 つのことができます

1. Next.js Web アプリを実行します。
2. Weaviate のインスタンスを実行するか、Weaviate サンドボックスを作成します
3. 画像、オーディオ、ビデオを Weaviate データベースにインポートします。

Weaviate の実行 (ImageBind を使用)

初めて実行するとき、Docker は ImageBind モデルを含む ~4.8GB multi2vec-bind Weaviate モジュールをダウンロードすることに注意してください。

Weaviate インスタンスを開始するには、 docker-compose.ymlファイルを使用する次のコマンドを実行します。

docker compose up -d

Weaviate インスタンスの作成 (Vertex AI を使用)

このガイドの説明に従って、Weaviate Cloud Services で Weaviate インスタンスを作成します。

? .envファイルを作成し、次のキーを追加します。

• Google Vertex API キーはGOOGLE_API_KEYです (これは Vertex AI 設定で取得できます)
• Weaviate API キーはWEAVIATE_ADMIN_KEYです (これは、Weaviate ダッシュボードのサンドボックスの詳細で取得できます)
• Weaviate ホスト URL をWEAVIATE_HOST_URLとして指定します (これは、Weaviate ダッシュボードのサンドボックスの詳細で取得できます)

?データのインポート

データをインポートする前に、 public/フォルダー内のそれぞれのメディア タイプにファイルを追加します。

データを適切なフォルダーに入れたら、 yarn install実行してすべてのプロジェクトの依存関係をインストールし、データを Weaviate にインポートしてコレクションを初期化します。次のコマンドを実行します。

yarn run import

これには 1 ～ 2 分かかる場合があります。

Next.js アプリケーションを実行します。

Next.js Web アプリを開始する前に、インポートされたデータを使用して Weaviate インスタンスが実行されていることを確認してください。

Web アプリを実行するには

yarn dev

...そしてあなたは検索することができます!!

リソース

マルチモーダル アプリケーションの詳細については、こちらをご覧ください。

• マルチモーダル検索拡張生成(RAG)
• マルチモーダル埋め込みモデル

??‍♂️ トラブルシューティング

• Weaviate のドキュメントを確認してください
• 問題を開く

Spirals テンプレートの功績は Steven に与えられます。