next multimodal search demo

这是使用 Wea​​viate、ImageBind/ Vertex AI 和 Next.js 构建的多模式搜索演示

??‍？博客文章 - 在 TypeScript 中构建多模式 AI

？入门

首先，使用以下命令克隆项目

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

存储库可以让您做三件事

1. 运行 Next.js Web 应用程序。
2. 运行 Weaviate 实例或创建 Weaviate 沙箱
3. 将图像、音频和视频导入到 Weaviate 数据库中。

运行Weaviate（使用ImageBind）

请注意，第一次运行它时，Docker 将下载约 4.8GB multi2vec-bind Weaviate 模块，其中包含 ImageBind 模型。

要启动 Weaviate 实例，请运行以下命令，该命令将使用docker-compose.yml文件。

docker compose up -d

创建 Weaviate 实例（使用 Vertex AI）

按照本指南所述在 Weaviate 云服务上创建 Weaviate 实例

？创建一个.env文件并添加以下键

• 您的 Google Vertex API 密钥为GOOGLE_API_KEY （您可以在 Vertex AI 设置中获取此密钥）
• 您的 Weaviate API 密钥为WEAVIATE_ADMIN_KEY （您可以在 Weaviate 仪表板的沙箱详细信息下获取此密钥）
• 您的 Weaviate 主机 URL 为WEAVIATE_HOST_URL （您可以在 Weaviate 仪表板的沙箱详细信息下获取此信息）

？导入数据

在导入数据之前，请将任何文件添加到public/文件夹中各自的媒体类型。

将数据放在正确的文件夹中后，运行yarn install以安装所有项目依赖项并将数据导入Weaviate并初始化集合，运行：

yarn run import

这可能需要一两分钟。

运行您的 Next.js 应用程序。

在启动 Next.js Web 应用程序之前，请确保您的 Weaviate 实例正在运行并导入了数据。

运行 Web 应用程序

yarn dev

...你可以搜索！

资源

了解有关多式联运应用的更多信息

• 多模态检索增强生成（RAG）
• 多模态嵌入模型

??‍♂️ 故障排除

• 查看 Weaviate 文档
• 打开一个问题

Steven 的螺旋模板值得赞扬