게임 씬 생성은 게임 개발 분야에서 늘 중요한 과제였습니다. 어떻게 하면 기존 시나리오의 한계를 뛰어넘어 더욱 다양하고 혁신적인 게임 세계를 만들어갈 수 있을지는 개발자들이 계속해서 탐구하는 방향이다. 최근 홍콩대학교와 Kuaishou Technology는 이 문제를 해결하기 위한 새로운 아이디어를 제공하는 GameFactory라는 혁신적인 프레임워크를 개발하기 위해 협력했습니다. 이 프레임워크는 고유한 3단계 훈련 전략과 결합된 고급 비디오 확산 모델 기술을 활용하여 새롭고 다양한 게임 장면을 생성하여 게임 비디오 생성의 효율성과 창의성을 크게 향상시킵니다.
게임 개발 분야에서 시나리오의 다양성과 혁신은 늘 어려운 문제였습니다. 최근 홍콩대학교와 Kuaishou Technology는 게임 비디오 생성 시 장면 일반화 문제를 해결하기 위해 GameFactory라는 혁신적인 프레임워크를 공동으로 개발했습니다. 이 프레임워크는 새롭고 다양한 게임 시나리오를 생성하기 위해 개방형 도메인 비디오 데이터에 대해 훈련할 수 있는 사전 훈련된 비디오 확산 모델을 활용합니다.
고급 세대 기술인 비디오 확산 모델은 최근 몇 년간 비디오 생성 및 물리적 시뮬레이션 분야에서 큰 잠재력을 보여왔습니다. 이러한 모델은 비디오 생성 도구와 마찬가지로 키보드 및 마우스와 같은 사용자 입력에 응답한 다음 해당 게임 장면을 생성할 수 있습니다. 그러나 기존 시나리오를 넘어 완전히 새로운 게임 시나리오를 생성하는 능력을 의미하는 장면 일반화는 이 분야에서 여전히 중요한 과제로 남아 있습니다. 동작 주석이 달린 비디오 데이터 세트를 대량으로 수집하는 것이 이 문제를 해결하는 직접적인 방법이지만, 이 방법은 시간이 많이 걸리고 노동 집약적이며 특히 개방형 도메인 시나리오에서는 실용적이지 않습니다.
이 문제를 해결하기 위해 GameFactory 프레임워크가 출시되었습니다. 사전 훈련된 비디오 확산 모델을 통해 GameFactory는 특정 게임 데이터 세트에 대한 과도한 의존을 피하고 다양한 게임 시나리오 생성을 지원할 수 있습니다. 또한, 오픈 도메인 사전 지식과 제한된 게임 데이터 세트 간의 격차를 해소하기 위해 GameFactory는 독특한 3단계 교육 전략도 채택했습니다.
첫 번째 단계에서는 LoRA(낮은 순위 적응)를 사용하여 사전 훈련된 모델을 미세 조정하여 원래 매개변수를 유지하면서 특정 게임 도메인에 적용합니다. 두 번째 단계에서는 사전 훈련 매개변수를 동결하고 스타일과 제어 간의 혼동을 피하기 위해 모션 제어 모듈 훈련에 중점을 둡니다. 마지막으로 세 번째 단계에서는 LoRA 가중치가 제거되고 모션 제어 모듈 매개변수가 유지되어 시스템이 다양한 개방 도메인 시나리오에서 제어된 게임 비디오를 생성할 수 있습니다.
연구원들은 또한 다양한 제어 메커니즘의 효율성을 평가한 결과 키보드 입력과 같은 개별 제어 신호를 처리할 때 크로스어텐션 메커니즘이 더 잘 수행되는 반면, 마우스 움직임 신호를 처리할 때는 스플라이싱 방법이 더 잘 수행된다는 사실을 발견했습니다. GameFactory는 또한 자동 회귀 모션 제어를 지원하여 길이에 제한 없이 대화형 게임 플레이 비디오를 생성할 수 있습니다. 또한 연구팀은 프레임워크의 훈련 및 평가를 위한 고품질 액션 주석 비디오 데이터 세트 GF-Minecraft도 출시했습니다.
논문: https://arxiv.org/abs/2501.08325
가장 밝은 부분:
GameFactory 프레임워크는 게임 비디오 생성 시 장면 일반화 문제를 해결하기 위해 홍콩 대학과 Kuaishou Technology가 공동으로 개발했습니다.
프레임워크는 사전 훈련된 비디오 확산 모델을 활용하여 다양한 게임 시나리오를 생성하고 효과를 향상시키기 위해 3단계 훈련 전략을 채택합니다.
또한 연구원들은 GameFactory의 훈련 및 평가를 지원하기 위해 동작 주석 비디오 데이터 세트 GF-Minecraft를 출시했습니다.
GameFactory 프레임워크의 출현은 게임 개발에 새로운 가능성을 가져왔습니다. 효율적인 장면 생성 기능과 개방형 도메인 적응성은 게임 산업의 발전을 크게 촉진하고 플레이어에게 더욱 다채로운 게임 경험을 제공할 것입니다. 앞으로는 GameFactory 프레임워크가 더욱 개선되어 게임 개발자에게 더욱 강력한 도구를 제공할 것으로 기대합니다.