Генерация игровых сцен всегда была серьезной проблемой в области разработки игр. Как преодолеть ограничения существующих сценариев и создать более разнообразный и инновационный игровой мир — это направление, которое разработчики продолжают исследовать. Недавно Университет Гонконга и компания Kuaishou Technology совместно разработали инновационную структуру под названием GameFactory, которая предлагает новую идею для решения этой проблемы. В этой платформе используется передовая технология модели диффузии видео в сочетании с уникальной трехэтапной стратегией обучения для создания новых и разнообразных игровых сцен, что значительно повышает эффективность и креативность создания игрового видео.
В сфере разработки игр разнообразие и новизна сценариев всегда были сложной проблемой. Недавно Университет Гонконга и компания Kuaishou Technology совместно разработали инновационную структуру под названием GameFactory, целью которой является решение проблемы генерализации сцен при создании игрового видео. Эта платформа использует предварительно обученные модели распространения видео, которые можно обучать на видеоданных открытого домена для создания новых и разнообразных игровых сценариев.
Модель видеодиффузии, являющаяся передовой технологией генерации, в последние годы показала большой потенциал в области генерации видео и физического моделирования. Эти модели могут реагировать на ввод пользователя, например, на клавиатуру и мышь, как инструменты создания видео, для создания соответствующих игровых видеороликов. Однако генерализация сцен, которая подразумевает возможность создания совершенно новых игровых сценариев помимо существующих, остается серьезной проблемой в этой области. Хотя сбор большого количества наборов видеоданных, аннотированных действиями, является прямым способом решения этой проблемы, этот метод требует много времени и труда, особенно непрактичен в сценариях с открытым доменом.
Для решения этой проблемы был запущен фреймворк GameFactory. Благодаря предварительно обученным моделям распространения видео GameFactory может избежать чрезмерной зависимости от конкретных наборов игровых данных и поддерживать создание разнообразных игровых сценариев. Кроме того, чтобы преодолеть разрыв между открытыми предварительными знаниями и ограниченными наборами игровых данных, GameFactory также применяет уникальную трехэтапную стратегию обучения.
На первом этапе LoRA (адаптация низкого ранга) используется для точной настройки предварительно обученной модели, чтобы адаптировать ее к конкретной игровой области, сохраняя при этом исходные параметры. На втором этапе параметры предварительной тренировки замораживаются и основное внимание уделяется тренировке модуля управления движением, чтобы избежать путаницы между стилем и управлением. Наконец, на третьем этапе веса LoRA удаляются, а параметры модуля управления движением сохраняются, что позволяет системе генерировать управляемые игровые видеоролики в различных сценариях открытого домена.
Исследователи также оценили эффективность различных механизмов управления и обнаружили, что механизм перекрестного внимания работает лучше при обработке дискретных сигналов управления, таких как ввод с клавиатуры, в то время как метод сращивания работает лучше при обработке сигналов движения мыши. GameFactory также поддерживает авторегрессионное управление движением, что позволяет создавать интерактивные видеоролики игрового процесса неограниченной длины. Кроме того, исследовательская группа также выпустила высококачественный набор видеоданных с аннотациями действий GF-Minecraft для обучения и оценки платформы.
Статья: https://arxiv.org/abs/2501.08325.
Выделять:
Платформа GameFactory была совместно разработана Университетом Гонконга и Kuaishou Technology для решения проблемы генерализации сцен при создании игрового видео.
Платформа использует предварительно обученные модели распространения видео для создания разнообразных игровых сценариев и применяет трехэтапную стратегию обучения для улучшения эффекта.
Исследователи также выпустили набор видеоданных с аннотациями действий GF-Minecraft для поддержки обучения и оценки GameFactory.
Появление платформы GameFactory открыло новые возможности для разработки игр. Ее возможности эффективной генерации сцен и адаптируемость открытого домена будут значительно способствовать развитию игровой индустрии и принесут игрокам более красочный игровой опыт. Мы ожидаем, что в будущем платформа GameFactory будет усовершенствована и предоставит разработчикам игр более мощные инструменты.