香港科学技術大学とツィンフア大学の研究チームは、驚くべきAIフレームワークDimensionxを共同で開始しました。この画期的なテクノロジーは、制御されたビデオ拡散テクノロジーを使用して、単一の画像から空間情報と時間情報を抽出し、それを連続ビデオフレームに変換します。これは、最終的にゲーム開発、仮想現実、映画とテレビ制作の分野のための完全な3Dまたは4Dシーンに結合しました。革新的な変化をもたらしました。 DimensionXには、シーンの視点とオブジェクトの動きをそれぞれ制御するS-DirectorとT-Directorの2つの強力なツールが装備されており、シーンの正確な制御を実現し、より複雑で現実的な生成のために組み合わせて使用することさえできます。シーン。
香港科学技術大学とティングア大学の研究チームは、DimensionXと呼ばれる新しいAIフレームワークを開始しました。生産。
Dimensionxのコアマジックは、制御可能なビデオ拡散技術です。 それは、単一の画像から空間的情報と時間的情報を抽出し、それを連続ビデオフレームに変換できる熟練した「スペースマジシャン」のようなものです。
これらのビデオフレームは映画映画のようなもので、シーンのさまざまな角度と動的な変更を記録し、最終的にそれらを完全な3Dまたは4Dシーンに結合します。
「Space Magic」を正確に制御するために、Dimensionxには2つの強力な「マジックワンド」も装備されています：S-DirectorとT-Director。 S-Directorは空間的次元の原因であり、カメラでシーンを自由にシャトルするように、視点の動きを制御できます。
T-Directorは、オブジェクトの動きを制御し、シーンを「ライブ」することができる時間ディメンションに責任があります。
さらに驚くべきことは、Dimensionxがこれらの2つの「魔法の杖」を組み合わせて、より複雑で現実的なシーンを生成できることです。
たとえば、実際の4Dの世界にいるように、オブジェクトが動いている間に、オブジェクトの周りで視聴角を回転させることができます。
もちろん、Dimensionxの「魔法」はそれ以上です。 また、さまざまな複雑なカメラの動きを処理できる軌道知覚メカニズムの設計など、実際のシーン向けに最適化されており、生成された3Dシーンをより現実的で信頼できるものにします。
さらに、DimensionXは、アイデンティティを維持する戦略も導入しました。これは、4Dシーンでのオブジェクトの外観の一貫性を確保し、「壊れた」という恥ずかしい状況を避けることができます。
Dimensionxの出現は、間違いなく革新的なブレークスルーを3Dおよび4Dシーン生成フィールドにもたらしました。 シンプルな操作と驚くべき効果があるだけでなく、幅広いアプリケーションも備えており、ゲーム開発、バーチャルリアリティ、映画、テレビの制作など、多くの分野で使用できます。 近い将来、Dimensionxは私たちを「Space Magic」のよりエキサイティングな世界に導くと信じています！
プロジェクトアドレス：https：//chenshuo20.github.io/dimensionx/
紙の住所：https：//arxiv.org/pdf/2411.04928
Dimensionxは、その単純な操作、驚くべき効果、広範なアプリケーションの見通しにより、革新的なブレークスルーを3Dおよび4Dシーン生成の分野にもたらし、将来のアプリケーションに大きな可能性を秘めています。