VR Environment GenAI Unity

Creación de un entorno de realidad virtual mediante IA generativa, cliente Unity

Este proyecto de Unity es un cliente para generar, modificar y explorar entornos generados por IA a partir de indicaciones de voz.

Cuenta con dos escenas principales, una para escritorio y otra para realidad virtual, que te permiten explorar nuevos mundos. La idea de este proyecto es permitirte acceder a todas las funciones de IA desde una aplicación, reduciendo las interrupciones en el proceso de creación.

Demo.webm.corta.completa.

El proyecto se desarrolló en la Fondation Campus Biotech Geneva (GitHub), en colaboración con el Laboratorio de Ciencias Cognitivas (parte de EPLF).

Instalación

La instalación es sencilla, ya que utilizamos funciones estándar de Unity. Aquí está la guía detallada.

1. Descargue Unity Editor 2022.3.36+.
2. Abra el proyecto y debería poder usar escenas, sin las funciones de IA.

La mayoría de los cascos de realidad virtual compatibles con OpenXR deberían funcionar de inmediato. El proyecto se desarrolló con HP Reverb G2 (un auricular de realidad mixta de Windows).

• Si los activos XR no funcionan, puede intentar reinstalarlos desde el Administrador de paquetes (Administrador de paquetes -> XR Interaction Toolkit -> Muestras -> Activos iniciales -> Reimportar).
• Para los cascos de realidad mixta de Windows, también puede intentar volver a importar los complementos.

Importante

Este es solo el cliente, ¡necesita un servidor en ejecución para usar las funciones de IA! El repositorio para ejecutar el servidor se puede encontrar en: VR-Environment-GenAI-Server.

Uso

Este proyecto de Unity presenta una escena generada por una IA a partir de un mensaje de texto. La escena se crea dinámicamente en función del texto ingresado y permite generar entornos únicos y creativos.

Para generar una escena:

1. Inicie el servidor Python y edite la configuración si es necesario.
2. Cargue la escena deseada. En el escritorio, cargue la escena "Desktop Creator" y la escena "VR Creator" en VR.
3. Ingrese un mensaje de texto en el campo de entrada. En VR puedes hablar mientras sostienes el micrófono.
4. Presione el botón "Generar".
5. Observe cómo la IA crea una escena basada en su mensaje de texto. Una barra de progreso indica el tiempo restante.

Configuración

Es posible que deba establecer algunos parámetros de configuración para una experiencia fluida. La mayoría de los parámetros de configuración se encuentran en Assets/Configurations/api.json .

En caso de que esté ejecutando el proyecto localmente VR y AI en la misma computadora (la configuración de "depuración"), debe configurar lo siguiente.

• pythonFallbackApiFile : ruta del archivo al archivo Python api.json , este archivo debe estar en la carpeta raíz del proyecto Python.

Si desea conectarse a un servidor remoto, las funciones importantes que debe configurar son:

• serverDefaultIp : la IP para llegar al servidor AI (preferiblemente IPv4).
• serverDefaultPort : número de puerto predeterminado del servidor.

Nota: si tanto el servidor como el archivo API alternativo se especifican correctamente, el servidor se ignorará y la conexión será local. Puede reemplazar la ruta del archivo API alternativa por cualquier ruta incorrecta para evitar este comportamiento.

Algunas opciones se consideran heredadas y se utilizan para la comunicación en el mismo almacenamiento de archivos. Puede especificar dónde debe guardar Python los archivos; las ubicaciones temporales son mejores.

• audioPath : la ruta al archivo de audio temporal que se guardará cuando se utiliza la función de voz a texto.
• baseImage : la ruta a la textura que será modificada .
• maskPath : la ruta a la textura de máscara temporal que se utiliza durante la función de pintura.

Características

Las principales características de este proyecto son:

• Generación de texto a Skybox.
• Voz a texto: habla con naturalidad.
• Dibujo de máscara y pintura interna: seleccione y vuelva a dibujar elementos libremente.

Escenas

Todas las escenas siguientes están en la carpeta Assets/Scenes .

• "Desktop Creator": escenario principal para la creación de skybox en modo escritorio.
• "VR Creator": creación de Skybox con un visor de realidad virtual. También puede usarlo cuando no hay auriculares conectados, pero esta es en gran medida una función de depuración.

Las otras escenas son para fines de prueba:

• "Reconocimiento de voz": una escena simple que solo integra voz a texto.
• "Escena de experimentos": una escena que contiene varios experimentos heredados.

Documentación

Proporcionamos una documentación en línea, también puede acceder a ella en la carpeta docs/ .

La documentación se genera con DocFX, puedes regenerarla con DocFX.

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

Ambos comandos generarán una documentación en docs/ .

Funciones heredadas

Importación de Skybox

Este proyecto permite la importación de palcos personalizados.

El palco se importa automáticamente a la escena cuando el jugador presiona Enter.

Lanzar la escena:

1. Mantenga el clic izquierdo para comenzar a dibujar.
2. Utilice la rueda de desplazamiento para cambiar el radio del área de dibujo.
3. Utilice el clic derecho para guardar la máscara. Se guarda en "Assets/Temp/mask.png" de forma predeterminada.

Experimento de respiración para la meditación

Como pequeña característica adicional, este proyecto incluye un pequeño experimento de respiración para la meditación.

Para comenzar el experimento de respiración:

1. Habilite el activo de respiración.
2. Presione la barra espaciadora al inhalar y suéltela al exhalar.

Campo de golf

Puede encontrar el repositorio público activo para este proyecto en: https://github.com/HugoFara/speech-to-world-unity-client

Para el servidor público oficial de IA: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server.