next multimodal search demo

這是使用 Wea​​viate、ImageBind/ Vertex AI 和 Next.js 建立的多模式搜尋演示

??‍？部落格文章 - 在 TypeScript 中建立多模式 AI

？入門

首先，使用以下命令克隆項目

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

儲存庫可以讓您做三件事

1. 運行 Next.js Web 應用程式。
2. 執行 Weaviate 實例或建立 Weaviate 沙箱
3. 將影像、音訊和視訊匯入到 Weaviate 資料庫。

運行Weaviate（使用ImageBind）

請注意，第一次運行它時，Docker 將下載約 4.8GB multi2vec-bind Weaviate 模組，其中包含 ImageBind 模型。

若要啟動 Weaviate 實例，請執行下列命令，該命令將使用docker-compose.yml檔案。

docker compose up -d

建立 Weaviate 實例（使用 Vertex AI）

請依照本指南所述在 Weaviate 雲端服務上建立 Weaviate 實例

？建立一個.env檔並加入以下鍵

• 您的 Google Vertex API 金鑰為GOOGLE_API_KEY （您可以在 Vertex AI 設定中取得此金鑰）
• 您的 Weaviate API 金鑰為WEAVIATE_ADMIN_KEY （您可以在 Weaviate 儀表板的沙箱詳細資料下取得此金鑰）
• 您的 Weaviate 主機 URL 為WEAVIATE_HOST_URL （您可以在 Weaviate 儀表板的沙箱詳細資料下取得此資訊）

？導入數據

在匯入資料之前，請將任何檔案新增至public/資料夾中各自的媒體類型。

將資料放在正確的資料夾後，執行yarn install以安裝所有專案依賴項並將資料匯入Weaviate並初始化集合，運行：

yarn run import

這可能需要一兩分鐘。

運行您的 Next.js 應用程式。

在啟動 Next.js Web 應用程式之前，請確保您的 Weaviate 實例正在運行並匯入了資料。

運行 Web 應用程式

yarn dev

....你可以搜尋！

資源

了解有關多式聯運應用的更多信息

• 多模態檢索增強生成（RAG）
• 多模態嵌入模型

??‍♂️ 故障排除

• 查看 Weaviate 文檔
• 打開一個問題

Steven 的螺旋模板值得讚揚