ゲームシーンの生成は、ゲーム開発の分野において常に大きな課題でした。既存のシナリオの制限を打ち破り、より多様で革新的なゲーム世界を作成する方法は、開発者が引き続き模索している方向性です。最近、香港大学とKuaishou Technology が協力して、この問題を解決する新しいアイデアを提供する GameFactory と呼ばれる革新的なフレームワークを開発しました。このフレームワークは、高度なビデオ拡散モデル技術と独自の 3 段階のトレーニング戦略を組み合わせて、新しく多様なゲーム シーンを生成し、ゲーム ビデオ生成の効率と創造性を大幅に向上させます。
ゲーム開発の分野において、シナリオの多様性と革新は常に難しい問題です。最近、香港大学とKuaishou Technologyは、ゲームビデオ生成におけるシーンの一般化の問題を解決することを目的として、GameFactoryと呼ばれる革新的なフレームワークを共同開発しました。このフレームワークは、オープンドメインのビデオ データでトレーニングできる事前トレーニング済みビデオ拡散モデルを活用して、新しく多様なゲーム シナリオを生成します。
ビデオ普及モデルは、先進的な生成技術として、近年、ビデオ生成や物理シミュレーションの分野で大きな可能性を示しています。これらのモデルは、ビデオ生成ツールと同様に、キーボードやマウスなどのユーザー入力に応答し、対応するゲーム シーンを生成できます。ただし、シーンの一般化 (既存のゲーム シナリオを超えてまったく新しいゲーム シナリオを作成する機能) は、この分野では依然として大きな課題です。この問題を解決するには、アクションの注釈が付けられたビデオ データ セットを大量に収集することが直接的な方法ですが、この方法は時間と労力がかかり、特にオープン ドメインのシナリオでは非現実的です。
GameFactory フレームワークは、この問題を解決するために開始されました。 GameFactory は、事前トレーニングされたビデオ拡散モデルを通じて、特定のゲーム データセットへの過度の依存を回避し、多様なゲーム シナリオの生成をサポートできます。さらに、オープン ドメインの事前知識と限られたゲーム データ セットの間のギャップを埋めるために、GameFactory は独自の 3 段階のトレーニング戦略も採用しています。
最初の段階では、LoRA (低ランク適応) を使用して事前トレーニングされたモデルを微調整し、元のパラメーターを維持しながら特定のゲーム ドメインに適応させます。第 2 段階では、スタイルとコントロールの混同を避けるために、事前トレーニング パラメーターをフリーズし、モーション コントロール モジュールのトレーニングに焦点を当てます。最後に、第 3 段階では、LoRA の重みが削除され、モーション コントロール モジュールのパラメーターが保持され、システムがさまざまなオープン ドメイン シナリオで制御されたゲーム ビデオを生成できるようになります。
研究者らはまた、さまざまな制御メカニズムの有効性を評価し、キーボード入力などの離散制御信号を処理する場合にはクロスアテンション メカニズムのパフォーマンスが向上し、マウスの動き信号を処理する場合にはスプライシング手法のパフォーマンスが向上することを発見しました。 GameFactory は自動回帰モーション コントロールもサポートしており、長さ無制限のインタラクティブなゲームプレイ ビデオを生成できます。さらに、研究チームは、フレームワークのトレーニングと評価のために、高品質のアクション アノテーション ビデオ データセット GF-Minecraft もリリースしました。
論文: https://arxiv.org/abs/2501.08325
ハイライト:
GameFactory フレームワークは、ゲーム ビデオ生成におけるシーンの一般化の問題を解決するために、香港大学と Kuaishou Technology によって共同開発されました。
このフレームワークは、事前トレーニングされたビデオ拡散モデルを利用して多様なゲーム シナリオを生成し、効果を向上させるために 3 段階のトレーニング戦略を採用しています。
研究者らは、GameFactory のトレーニングと評価をサポートするために、アクション アノテーション ビデオ データセット GF-Minecraft もリリースしました。
GameFactory フレームワークの登場は、ゲーム開発に新たな可能性をもたらし、その効率的なシーン生成機能とオープン ドメインへの適応性は、ゲーム業界の発展を大きく促進し、プレイヤーにより多彩なゲーム体験をもたらします。 将来的には、GameFactory フレームワークがさらに改善され、ゲーム開発者により強力なツールが提供されることが期待されます。