next multimodal search demo

Это демо-версия мультимодального поиска, созданная с помощью Weaviate, ImageBind/Vertex AI и Next.js.

??‍? Сообщение в блоге — Создание мультимодального ИИ на TypeScript

? Начиная

Сначала клонируйте проект с помощью команды ниже

git clone https://github.com/weaviate-tutorials/next-multimodal-search-demo

Репозиторий позволяет вам сделать три вещи

1. Запустите веб-приложение Next.js.
2. Запустите экземпляр Weaviate ИЛИ создайте песочницу Weaviate.
3. Импортируйте изображения, аудио и видео в базу данных Weaviate.

Запуск Weaviate (с использованием ImageBind)

Обратите внимание, что при первом запуске Docker загрузит модуль Weaviate multi2vec-bind размером ~4,8 ГБ, который содержит модель ImageBind.

Чтобы запустить экземпляр Weaviate, выполните следующую команду, которая будет использовать файл docker-compose.yml .

docker compose up -d

Создайте экземпляр Weaviate (с использованием Vertex AI)

Создайте экземпляр Weaviate в облачных сервисах Weaviate, как описано в этом руководстве.

? Создайте файл .env и добавьте следующие ключи

• ваш ключ Google Vertex API как GOOGLE_API_KEY (вы можете получить его в настройках Vertex AI)
• ваш ключ API Weaviate как WEAVIATE_ADMIN_KEY (вы можете получить его на панели управления Weaviate в разделе сведений о песочнице)
• ваш URL-адрес хоста Weaviate как WEAVIATE_HOST_URL (вы можете получить его на панели управления Weaviate в разделе «Сведения о песочнице»)

? Импорт данных

Прежде чем вы сможете импортировать данные, добавьте любые файлы к соответствующему типу носителя в папке public/ .

Поместив данные в нужную папку, запустите yarn install , чтобы установить все зависимости проекта, а также импортировать данные в Weaviate и инициализировать коллекцию, запустив:

yarn run import

это может занять минуту или две.

Запуск приложения Next.js.

Прежде чем запускать веб-приложение Next.js, убедитесь, что ваш экземпляр Weaviate работает с импортированными данными.

Запуск веб-приложения

yarn dev

... и вы можете искать!!

Ресурсы

Узнайте больше о мультимодальных перевозках

• Мультимодальный поиск, дополненная генерация (RAG)
• Мультимодальные модели встраивания

??‍♂️ Устранение неполадок

• Ознакомьтесь с документацией Weaviate
• Открыть проблему

Некоторая заслуга принадлежит Стивену за его шаблон «Спирали».