GoogleのDeepMindチームは「Generative Omnimatte」と呼ばれるAIモデルをリリースしました。これは熟練した編集者のようにビデオを複数のレイヤーに分解し、人物、物体、背景を正確に分離し、さらにはブロックされた部分を「脳」で「埋める」ことでさまざまなクールさを実現できます特撮。このテクノロジーは、従来のビデオ マッティング テクノロジーの限界を打ち破り、グリーン スクリーンや深度情報を必要とせずに、複雑なビデオ編集タスクを簡単に完了できます。面倒な操作に別れを告げ、ビデオ編集をシンプルかつ使いやすくすれば、誰でもビデオ編集マスターになれます。
映画のあのクールな特殊効果をまだ覚えていますか? 何もないところから物体が消えたり、シーンが瞬時に変わったりすることに夢中になっていますか? さて、Google DeepMind チームは、これらの特殊効果を可能にする「Generative Omnimatte」と呼ばれる AI モデルを開発しました。これはもはや映画だけではありません! この AI は熟練した編集者のようなもので、ビデオを複数のレイヤーに分割し、各レイヤーには完全なオブジェクトと、それが生成する影、反射、その他の効果が含まれています。
従来のビデオ マッティング技術は通常、グリーン スクリーン撮影や正確な深度情報に依存しており、操作が非常に複雑です。 この AI モデルはこれらの制限をまったく必要とせず、ビデオ内の文字、オブジェクト、背景を完全に分離し、遮蔽された部分を「ブレインフィル」することもできます。
このAIモデルの中核となるのが「Casper」と呼ばれる動画除去モデルです。 これは、ビデオ内で指定したオブジェクトを正確に消去できる魔法の消しゴムのようなもので、その影や反射は消えますが、背景はそのまま残ります。
さらに重要なのは、キャラクターをあるシーンから別のシーンに「テレポート」したり、オブジェクトの移動速度を変更したり、時間を巻き戻したりするなど、ユーザーのニーズに応じてオブジェクトと背景を再結合して、さまざまな創造的な効果を実現できることです。
このアーティファクトを使用すると、将来的にはどんな特殊効果も簡単に追加できるようになります。たとえば、誰もが編集マスターになれるでしょう。友人を家からビーチに「テレポート」するには、Casper を使用して友人を切り取って、ビデオ内で後ろ向きに歩くこともできます。 、または複数の友達にコピーして一緒に踊ってみるのも面白いでしょう。
もちろん、Generative Omnimatte はまだ開発段階にあり、解決する必要のある小さなバグがまだいくつかあります。 たとえば、ビデオ内に非常によく似たオブジェクトが複数ある場合、AI は誰が誰であるかを区別できず、混乱してしまう可能性があります。 さらに、曲がったポールなど、物体が変形した場合、AIはそれに対処する方法を知りません。 しかし、私は Google DeepMind チームがすぐにこれらの問題を解決し、Generative Omnimatte をさらに完璧なものにしてくれると信じています。
プロジェクトアドレス: https://gen-omnimatte.github.io/
論文アドレス: https://arxiv.org/pdf/2411.16683
Generative Omnimatte はビデオ編集に革命的な変化をもたらし、将来的にはさらに驚くべきアプリケーションや特殊効果をもたらすでしょう。楽しみに待ちましょう!