Google Research Instituteがリリースした最新のRecapture Technologyは、ビデオ編集の分野にイノベーションをもたらしました。既存のビデオに基づいてカスタムカメラトラックを使用して新しいバージョンを生成し、さまざまな視点からビデオコンテンツを表示することができ、元のビデオではキャラクターとシーンの元の動きの状態を完全に保持します。このテクノロジーは魔法のようなもので、通常のビデオを複数の角度や視点からエキサイティングな画像に変えることができます。
Google Researchは最近、Recaptureと呼ばれる新しいテクノロジーを立ち上げました。これにより、まったく新しい視点から自分のビデオを再体験することができます。 Recapture Technologyは、ユーザーが提供するビデオに基づいてカスタムカメラトラックを使用して新しいバージョンを生成できます。つまり、元のビデオでは利用できない観点からビデオコンテンツを視聴し、文字の元の動きを維持できます。ビデオのシーン。
Recaptureは、提供するビデオに基づいて完全に新しい視点で新しいバージョンを生成できる魔法の編集者のようなものです。 たとえば、携帯電話で遊んでいる犬のビデオを撮影した場合、Recaptureは犬の視点から撮影したビデオを生成するのに役立ちます。
それで、Recaptureは実際にこの「魔法」をどのように実装していますか？最初にマルチビュー拡散モデルまたはポイントクラウドレンダリングテクノロジーを使用して、必要な新しい視点に基づいて大まかなビデオを生成します。 このラフなビデオは、彫刻されていないジェイドのようです。
次に、Recaptureはその秘密兵器を使用します - 「マスクビデオ微調整」テクノロジーは、この大まかなビデオを「絶妙にクラフト」します。 このテクノロジーは、Space LoraとTime Loraの2つの特別なツールを使用してビデオを修復および最適化できる熟練した職人のようなものです。 Space Loraは、元のビデオでキャラクターやシーン情報を学習する責任がある「美容師」のようなもので、写真をより明確にし、より美しくしています。 Time Loraは「リズムマスター」であり、ビデオの再生をよりスムーズで自然にするために、新しい視点からシーンの動きを学習する責任があります。
これら2人の「マスター」の共同作成の後、ラフなビデオは明確で一貫したダイナミックな新しいビデオに変換されました。 それだけでなく、ビデオをより完璧にするために、RecaptureはSDEDITテクノロジーを使用して、メイクアップのようにビデオを完成させ、ビデオをより繊細で繊細にします。
Googleの研究者は、Recaptureが多くのトレーニングデータを必要とせずに、さまざまなタイプのビデオおよび視点変換を処理できると言います。 これは、あなたが普通のビデオ愛好家であっても、Recaptureを使用してプロのグレードの「マルチカメラ」ビデオを簡単に作成できることを意味します。
プロジェクトアドレス：https：//generative-video-camera-controls.github.io/
シンプルで使いやすい機能と強力な機能により、Recaptureはマルチビュービデオ制作のしきい値を大幅に削減し、ビデオ作成の新しい可能性を提供しました。将来的には、このテクノロジーは、映画の制作、ゲーム開発、仮想現実分野で広く使用されており、より没入感のある視覚体験をもたらします。