Downcodes のエディターは、Google Research がリリースした最新の ReCapture テクノロジーを理解させます。この驚くべきテクノロジーは、まったく新しい視点からビデオを再解釈し、前例のない視聴体験を提供します。これは単純なビデオ編集ではなく、AI テクノロジーを使用して、提供されたビデオに基づいてカスタマイズされたカメラ軌跡を含む新しいバージョンを生成するため、携帯電話で撮影した日常的なビデオであっても、複数のカメラから撮影できるようになります。 . 映画のような効果も得られます。準備はできたか？ ReCapture の魔法を一緒に探索しましょう!
Google Research は最近、新しい視点から自分のビデオを再体験できる ReCapture と呼ばれる新しいテクノロジーを発表しました。 ReCapture テクノロジーは、ユーザーが提供したビデオに基づいてカスタマイズされたカメラ トラックを含む新しいバージョンを生成できます。つまり、元のビデオにはない視点からビデオ コンテンツを視聴し、キャラクターやシーンの元の動きを維持できます。ビデオ。
ReCapture は、提供されたビデオに基づいて新鮮な視点で新しいバージョンを生成できる魔法のエディターのようなものです。 たとえば、携帯電話で遊んでいる犬のビデオを撮影すると、ReCapture を使用して犬の視点から撮影したビデオを生成できます。これは素晴らしいことではないでしょうか。
では、ReCapture はどのようにしてこの「魔法」を実現するのでしょうか? 実際、その背後にある原理は複雑ではありません。まず、マルチビュー拡散モデルまたは点群レンダリング技術を使用して、必要な新しい視点に基づいて大まかなビデオを生成します。 この粗いビデオは磨かれていない翡翠のようで、写真は不完全かもしれませんし、時間は不一致かもしれません、そして酔っぱらいのように揺れているかもしれません。
次に、ReCapture は秘密兵器である「マスクビデオ微調整」技術を使用して、この粗いビデオを「細かく磨き上げ」ます。 このテクノロジーは、空間 LoRA と時間 LoRA という 2 つの特別なツールを使用してビデオを修復および最適化する熟練した職人のようなものです。 Spatial LoRA は「美容師」のようなもので、元のビデオのキャラクターやシーンの情報を学習して、映像をより鮮明で美しくする役割を果たします。 Time LoRA は、ビデオ再生をよりスムーズかつ自然にするために、新しい視点からシーンの動きを学習する役割を担う「リズム マスター」です。
この 2 人の「巨匠」の共同作業により、ラフなビデオが、クリアで一貫性のあるダイナミックな新しいビデオに生まれ変わりました。 それだけでなく、ビデオ効果をより完璧にするために、ReCapture は SDEdit テクノロジーを使用して、メイクアップのようにビデオに最後の仕上げを加え、ビデオをより洗練され、繊細にします。
Googleの研究者らは、ReCaptureは大量のトレーニングデータを必要とせずに、さまざまな種類のビデオや視点の遷移を処理できると述べている。 これは、一般的なビデオ愛好家であっても、ReCapture を使用すればプロ グレードの「マルチカメラ」ビデオを簡単に作成できることを意味します。
プロジェクトアドレス: https://generative-video-camera-controls.github.io/
ReCapture テクノロジーの出現は、間違いなくビデオ作成の分野に新たな可能性をもたらしました。マルチビュー映像の制作プロセスを簡素化し、より多くの人が創作の楽しさを手軽に体験できるようになります。今後、ReCapture はより多くの分野で活用され、私たちにさらなる驚きをもたらしてくれると信じています。