Tencent AI Lab と Tencent PCG の ARC Lab は共同で、StereoCrafter と呼ばれる新しいフレームワークをリリースしました。このテクノロジーは、通常の 2D ビデオを高忠実度の立体 3D ビデオに変換し、没入型エクスペリエンスに革命的な変化をもたらします。 StereoCrafter は、ディープ ラーニング テクノロジーを使用して、従来の 3D ビデオ変換方法の制限を克服し、生成効果を大幅に向上させ、さまざまな表示デバイスの高忠実度要件に適応して、増大する 3D コンテンツの需要を満たすことができます。
最近、Tencent AI Lab と Tencent PCG の ARC Lab は共同で、通常の 2D ビデオを高忠実度の立体 3D ビデオに変換できる StereoCrafter と呼ばれる新しいフレームワークを立ち上げました。
このイノベーションは、特に没入型エクスペリエンスの分野で、3D コンテンツに対する需要の高まりに応えます。 StereoCrafter は、基本モデルの利点を最大限に活用し、従来の変換方法の制限を克服し、生成効果を大幅に向上させ、生成されたコンテンツがさまざまな表示デバイスの高忠実度要件を満たすことを保証します。
システムの中核は 2 つの主要なステップに分かれています。最初のステップは、奥行き情報に基づいてビデオを再マッピングし、オクルージョン情報を抽出し、同時にビデオ変換を実行することです。2 番目のステップは、立体ビデオを修復することです。このシステムは、事前にトレーニングされた安定したビデオ拡散モデルをベースとして使用し、立体ビデオ修復タスク用の微調整プロトコルを導入します。さまざまな長さと解像度のビデオ入力を処理するために、チームはシステムがさまざまな入力条件に柔軟に適応できるようにするための自己回帰戦略とスライス処理技術も検討しました。
トレーニングをサポートするために、チームは大規模で高品質のデータセットを生成する高度なデータ処理パイプラインを構築しました。データセットの構築プロセス中に、研究チームは多数の立体視ビデオから選択し、対応するビデオ深度を生成し、ビデオとオクルージョン情報を変換して、右側のビデオが実際のベンチマークとして機能するようにしました。これらの革新的な方法は、2D ビデオを 3D ビデオに変換する実用的なソリューションを提供し、Apple Vision Pro やその他の 3D ディスプレイ デバイスでよりエキサイティングな没入型体験を提供できるようにします。
StereoCrafter は技術的なブレークスルーであるだけでなく、デジタル メディアの体験方法に潜在的な変化をもたらし、デジタル コンテンツの視聴方法や体験方法を変える可能性があります。
プロジェクト入口: https://stereocrafter.github.io/
ハイライト:
StereoCrafter は、新しいテクノロジーを使用して、2D ビデオを没入型の立体視 3D ビデオに効率的に変換します。
このシステムは、深度ビデオの再構築と、生成効果を向上させるための立体視ビデオ修復の 2 つの主要なステップに分かれています。
研究チームは、アルゴリズムのトレーニングをサポートし、出力の品質を確保するために高品質のデータセットを構築しました。
StereoCrafter の登場は、2D から 3D ビデオ変換テクノロジーの大きな進歩をもたらし、その効率的な変換効率と高忠実度の出力品質により、3D コンテンツの作成と利用が大幅に強化され、ユーザーにさらに没入型のオーディオビジュアル体験がもたらされます。今後、この技術は映画、ゲーム、仮想現実などの分野で広く活用されることが期待されています。