VR Environment GenAI Unity

Создание VR-среды с помощью Generative AI, клиента Unity

Этот проект Unity представляет собой клиент для создания, изменения и изучения сред, созданных искусственным интеллектом с помощью голосовых подсказок.

В нем есть две основные сцены: одна для рабочего стола и одна для виртуальной реальности, которые позволяют вам исследовать новые миры. Идея этого проекта состоит в том, чтобы предоставить вам доступ ко всем функциям искусственного интеллекта из приложения, сокращая перебои в процессе создания.

Short.complete.demo.webm

Проект был разработан в Fondation Campus Biotech в Женеве (GitHub) в сотрудничестве с Лабораторией когнитивных наук (входит в состав EPLF).

Установка

Установка проста, так как мы используем стандартные возможности Unity. Вот подробное руководство.

1. Загрузите Редактор Unity 2022.3.36+.
2. Откройте проект, и вы сможете использовать сцены без функций искусственного интеллекта.

Большинство VR-гарнитур, совместимых с OpenXR, должны работать «из коробки». Проект был разработан с использованием HP Reverb G2 (гарнитуры Windows Mixed Reality).

• Если ресурсы XR не работают, вы можете попробовать переустановить их из диспетчера пакетов (Диспетчер пакетов -> Набор инструментов для взаимодействия с XR -> Образцы -> Стартовые активы -> Повторный импорт).
• Для гарнитур Windows Mixed Reality вы также можете попытаться повторно импортировать плагины.

Важный

Это всего лишь клиент, вам нужен работающий сервер, чтобы реально использовать функции ИИ! Репозиторий для запуска сервера можно найти по адресу: VR-Environment-GenAI-Server.

Использование

В этом проекте Unity представлена ​​сцена, созданная искусственным интеллектом из текстовой подсказки. Сцена создается динамически на основе введенного текста и позволяет создавать уникальные и творческие среды.

Чтобы создать сцену:

1. Запустите сервер Python и при необходимости отредактируйте конфигурацию.
2. Загрузите нужную сцену. На рабочем столе загрузите сцену «Desktop Creator» и сцену «VR Creator» в VR.
3. Введите текстовую подсказку в поле ввода. В VR вы можете говорить, держа микрофон.
4. Нажимаем кнопку «Сгенерировать».
5. Посмотрите, как ИИ создает сцену на основе вашей текстовой подсказки. Индикатор выполнения показывает оставшееся время.

Конфигурация

Возможно, вам придется установить несколько параметров конфигурации для бесперебойной работы. Большинство параметров конфигурации находятся в разделе Assets/Configurations/api.json .

Если вы запускаете проект локально VR и AI на одном компьютере («отладочная» конфигурация), вам следует установить следующее.

• pythonFallbackApiFile : путь к файлу Python api.json , этот файл должен находиться в корневой папке проекта Python.

Если вы хотите подключиться к удаленному серверу, важные функции, которые необходимо установить:

• serverDefaultIp : IP-адрес для доступа к серверу AI (предпочтителен IPv4).
• serverDefaultPort : номер порта сервера по умолчанию.

Примечание. Если правильно указаны и сервер, и резервный API-файл, сервер будет игнорироваться и соединение будет локальным. Чтобы предотвратить такое поведение, вы можете заменить путь к резервному файлу API любым неправильным путем.

Некоторые параметры считаются устаревшими и используются для связи в одном и том же файловом хранилище. Вы можете указать, где Python должен сохранять файлы, лучше использовать временные местоположения.

• audioPath : путь к временному аудиофайлу, который нужно сохранить при использовании функции преобразования речи в текст.
• baseImage : путь к текстуре , которая будет изменена .
• maskPath : путь к временной текстуре маски, которая используется во время функции рисования.

Функции

Основными особенностями этого проекта являются:

• Генерация текста в Skybox.
• Преобразование речи в текст: говорите естественно.
• Рисование и закрашивание масок: свободно выбирайте и перерисовывайте элементы.

Сцены

Все следующие сцены находятся в папке Assets/Scenes .

• «Desktop Creator» — основная сцена для создания скайбокса в режиме рабочего стола.
• «VR Creator» — создание скайбокса с помощью VR-гарнитуры. Вы также можете использовать его, когда гарнитура не подключена, но это скорее функция отладки.

Остальные сцены предназначены для тестирования:

• «Распознавание речи» — простая сцена, которая объединяет только речь в текст.
• «Сцена экспериментов» — сцена, содержащая различные устаревшие эксперименты.

Документация

Мы предоставляем онлайн-документацию, вы также можете получить к ней доступ в папке docs/ .

Документация создается с помощью DocFX, вы можете восстановить ее с помощью DocFX.

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

Обе команды создадут документацию в docs/ .

Устаревшие функции

Импорт Скайбокса

Этот проект позволяет импортировать пользовательские скайбоксы.

Скайбокс автоматически импортируется в сцену, когда игрок нажимает Enter.

Запускаем сцену:

1. Удерживайте левую кнопку мыши, чтобы начать рисовать.
2. Используйте колесо прокрутки, чтобы изменить радиус области рисования.
3. Используйте правый клик, чтобы сохранить маску. По умолчанию он сохраняется в «Assets/Temp/mask.png».

Дыхательный эксперимент для медитации

В качестве небольшого бонуса этот проект включает небольшой дыхательный эксперимент для медитации.

Чтобы начать дыхательный эксперимент:

1. Включите актив дыхания.
2. Нажимайте клавишу пробела на вдохе и отпускайте на выдохе.

Ссылки

Вы можете найти активный общедоступный репозиторий этого проекта по адресу: https://github.com/HugoFara/speech-to-world-unity-client.

Официальный общедоступный сервер ИИ: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server.