Исследовательские группы из Гонконгового университета науки и технологий и Университета науки и технологий Китая совместно разработали модель GameGen-X, модель диффузионного конвертера, которая может генерировать и интерактивно контролировать игровые видеоролики с открытым миром. GameGen-X может не только генерировать игровые видео, которые включают инновационные персонажи, динамические среды и сложные действия, но также регулировать игровой контент в режиме реального времени в соответствии с мультимодальными инструкциями пользователя (например, текстовые и клавиатуры), что позволяет пользователям испытать удовольствие от разработки Игры сами. Этот результат исследования знаменует собой серьезный прорыв в области искусственного интеллекта в области разработки игр и предоставляет новые возможности для создания игрового контента.
GameGen-X может самостоятельно генерировать игровые видео с открытым миром, что может имитировать различные функции игрового двигателя, включая генерирование инновационных персонажей, динамические среды, сложные действия и разнообразные события, а также могут взаимодействовать с вами, что позволит вам испытать удовольствие от Планирование игры.
Одним из основных моментов GameGen-X является его управляемость во взаимодействии. Он может предсказать и изменять будущий контент на основе текущих игровых клипов, тем самым обеспечивая моделирование игрового процесса.
Пользователи могут влиять на сгенерированный контент с помощью мультимодальных сигналов управления, таких как структурированные текстовые инструкции и управление клавиатурой, тем самым достигая управления взаимодействием персонажа и содержания сцены.
Чтобы обучить GameGen-X, исследователи также построили первый большой набор видео-данных Game World, Ogamedata. Этот набор данных содержит более 1 миллиона видеоклипов различных игр из более чем 150 игр и использует GPT-4O для создания информативных описаний текста для него.
Процесс обучения GameGen-X разделен на два этапа: базовая модель предварительного обучения и точная настройка обучения. На первом этапе модель предварительно обучена с помощью задач генерации текста-Video и продолжения видео, что позволяет ему генерировать высококачественные, долгосрочные игровые видеоролики с открытой доменом.
На втором этапе, чтобы достичь интерактивной управляемости, исследователи разработали модуль InstructNet, который интегрирует экспертов по мультимодальному сигналу управления, связанные с игрой.
InstructNet позволяет моделям настраивать потенциальные представления на основе ввода пользователя, тем самым объединяя взаимодействие символов и управление контентом сцены в генерации видео впервые. Во время точной настройки инструкции обновляется только инструктальный сети, в то время как предварительно обученная базовая модель заморожена, что позволяет модели интегрировать интерактивную управляемость без потери разнообразия и качества генерируемого видеоконтента.
Экспериментальные результаты показывают, что GameGen-X хорошо работает в создании высококачественного игрового контента и обеспечивает отличный контроль над окружающей средой и персонажами, превосходящих другие модели с открытым исходным кодом и бизнес-моделями.
Конечно, этот ИИ все еще находится в зачаточном состоянии, и еще предстоит пройти долгий путь, прежде чем по -настоящему заменить планирование игры. Но его появление, несомненно, привносит новые возможности для разработки игр. Он обеспечивает новый подход к дизайну и разработке контента игры, демонстрируя потенциал генеративных моделей в качестве вспомогательного инструмента для традиционной технологии рендеринга, эффективной интеграции творческих генераций и интерактивных функций, привнося новые вещи в будущие возможности разработки игр.
Адрес проекта: https://gamegen-x.github.io/
Хотя GameGen-X все еще находится на ранних стадиях развития, его выдающаяся производительность в генерации игровых видео и контроле взаимодействия указывает на широкую перспективу применения технологии искусственного интеллекта в игровой индустрии. В будущем GameGen-X, как ожидается, станет хорошим помощником для разработчиков игр и продвинет инновационное развитие игровой индустрии.