Los equipos de investigación de la Universidad de Ciencia y Tecnología de Hong Kong y la Universidad de Ciencia y Tecnología de China desarrollaron conjuntamente el modelo GameGen-X, un modelo de convertidor de difusión que puede generar e interactivamente controlar videos de juegos de mundo abierto. GameGen-X no solo puede generar videos de juegos que incluyen personajes innovadores, entornos dinámicos y acciones complejas, sino también ajustar el contenido del juego en tiempo real de acuerdo con las instrucciones multimodales del usuario (como el texto y las operaciones de teclado), lo que permite a los usuarios experimentar la diversión de diseñar Juegos mismos. Este resultado de la investigación marca un gran avance en la IA en el campo del desarrollo del juego y proporciona nuevas posibilidades para la creación de contenido del juego.
GameGen-X puede generar videos de juegos de mundo abierto por sí mismo, lo que puede simular varias funciones de motor de juego, incluida la generación de personajes innovadores, entornos dinámicos, acciones complejas y diversos eventos, y también puede interactuar con usted, lo que le permite experimentar el placer de ser una planificación del juego.
Uno de los aspectos más destacados de GameGen-X es su capacidad de control en la interacción. Puede predecir y cambiar el contenido futuro en función de los clips de juegos actuales, lo que permite la simulación de juego.
Los usuarios pueden influir en el contenido generado a través de señales de control multimodal, como instrucciones de texto estructuradas y control del teclado, lo que logró el control sobre la interacción de los personajes y el contenido de la escena.
Para entrenar a GameGen-X, los investigadores también construyeron el primer conjunto de datos de video de juego de mundo abierto, Ogamedata. Este conjunto de datos contiene más de 1 millón de videoclips de diferentes juegos de más de 150 juegos, y utiliza GPT-4O para generar descripciones informativas de texto para él.
El proceso de entrenamiento de GameGen-X se divide en dos etapas: pre-entrenamiento básico de modelo e instrucción ajustada. En la primera fase, el modelo se entrena previamente a través de tareas de generación de texto a video y de continuación de videos, lo que le permite generar videos de juegos abiertos de dominio abierto de alta calidad.
En la segunda fase, para lograr la capacidad de control interactiva, los investigadores diseñaron el módulo Instructnet, que integra expertos en señales de control multimodal relacionados con el juego.
Instructnet permite a los modelos ajustar representaciones potenciales basadas en la entrada del usuario, unificando así la interacción de los personajes y el control de contenido de la escena en la generación de videos por primera vez. Durante las instrucciones, ajuste fino, solo se actualiza Instructnet, mientras que el modelo base previamente capacitado está congelado, lo que permite que el modelo integre la capacidad de control interactiva sin perder la diversidad y la calidad del contenido de video generado.
Los resultados experimentales muestran que GameGen-X funciona bien en la generación de contenido de juegos de alta calidad y proporciona un excelente control sobre el entorno y los personajes, superior a otros modelos de código abierto y de negocios.
Por supuesto, esta IA todavía está en su infancia y todavía queda un largo camino por recorrer antes de reemplazar realmente la planificación del juego. Pero su aparición sin duda trae nuevas posibilidades para el desarrollo del juego. Proporciona un nuevo enfoque para el diseño y el desarrollo del contenido del juego, lo que demuestra el potencial de los modelos generativos como una herramienta auxiliar para la tecnología de renderizado tradicional, integrando efectivamente la generación creativa y las funciones interactivas, lo que trae cosas nuevas a futuras posibilidades de desarrollo de juegos.
Dirección del proyecto: https://gamegen-x.github.io/
Aunque GameGen-X todavía se encuentra en sus primeras etapas de desarrollo, su excelente desempeño en la generación de video y el control de interacción indica una amplia perspectiva para la aplicación de la tecnología de IA en la industria del juego. En el futuro, se espera que GameGen-X se convierta en un buen asistente para los desarrolladores de juegos y promueva el desarrollo innovador de la industria del juego.