Das DeepMind-Team von Google hat ein KI-Modell namens „Generative Omnimatte“ veröffentlicht, das wie ein erfahrener Editor Videos in mehrere Ebenen aufteilen, Personen, Objekte und Hintergründe genau trennen und sogar die blockierten Teile „ausfüllen“ kann, um verschiedene Coolness-Effekte zu erzielen Spezialeffekte. Diese Technologie durchbricht die Einschränkungen der herkömmlichen Video-Matting-Technologie und kann problemlos komplexe Videobearbeitungsaufgaben erledigen, ohne dass ein Greenscreen oder Tiefeninformationen erforderlich sind. Verabschieden Sie sich von mühsamen Vorgängen, machen Sie die Videobearbeitung einfach und benutzerfreundlich und jeder kann ein Meister der Videobearbeitung werden!
Erinnern Sie sich noch an diese coolen Spezialeffekte in Filmen? Verschwinden Objekte aus dem Nichts und verändern sich Szenen? Jetzt hat das Google DeepMind-Team ein KI-Modell namens „Generative Omnimatte“ entwickelt, um diese Spezialeffekte zu ermöglichen. Es ist nicht mehr nur für Filme gedacht! Diese KI ist wie ein geschickter Editor, der das Video in mehrere Ebenen aufteilen kann, wobei jede Ebene ein vollständiges Objekt und die Schatten, Reflexionen und anderen Effekte enthält, die es erzeugt.
Herkömmliche Videomatten-Technologien basieren in der Regel auf Green-Screen-Aufnahmen oder präzisen Tiefeninformationen, deren Bedienung sehr komplex ist. Dieses KI-Modell ist völlig frei von diesen Einschränkungen und kann die Charaktere, Objekte und Hintergründe im Video perfekt trennen und sogar die verdeckten Teile „ausfüllen“.
Der Kern dieses KI-Modells ist ein Videoentfernungsmodell namens „Casper“. Es ist wie ein magischer Radiergummi, der jedes im Video angegebene Objekt präzise löschen kann. Seine Schatten und Reflexionen verschwinden, während der Hintergrund intakt bleibt.
Noch wichtiger ist, dass es auch Objekte und Hintergründe entsprechend den Anforderungen des Benutzers neu kombinieren kann, um verschiedene kreative Effekte zu erzielen, wie z. B. das „Teleportieren“ von Charakteren von einer Szene in eine andere, das Ändern der Bewegungsgeschwindigkeit von Objekten oder sogar das Veranlassen, die Zeit zurückzudrehen!
Mit diesem Artefakt wird es in Zukunft so einfach sein, Videos zu bearbeiten, die Sie möchten. Sie müssen sich zum Beispiel überhaupt nicht um technische Probleme kümmern Um einen Freund von zu Hause an den Strand zu „teleportieren“, müssen Sie ihn nur mit Casper ausschneiden und auf den Hintergrund des Meeres setzen. Sie können Ihre Freunde im Video sogar rückwärts laufen lassen , oder kopieren Sie sie in mehrere Freunde und tanzen Sie zusammen, wie Sie möchten. Es ist interessant, darüber nachzudenken!
Natürlich befindet sich Generative Omnimatte noch in der Entwicklungsphase und es müssen noch einige kleinere Fehler behoben werden. Wenn das Video beispielsweise mehrere sehr ähnliche Objekte enthält, kann die KI möglicherweise nicht erkennen, wer wer ist, und sie verwechseln. Wenn sich das Objekt außerdem verformt, beispielsweise eine gebogene Stange, weiß die KI nicht, wie sie damit umgehen soll. Ich glaube jedoch, dass das Google DeepMind-Team diese Probleme bald lösen und Generative Omnimatte noch perfekter machen wird!
Projektadresse: https://gen-omnimatte.github.io/
Papieradresse: https://arxiv.org/pdf/2411.16683
Generative Omnimatte hat revolutionäre Veränderungen in der Videobearbeitung mit sich gebracht und wird uns in Zukunft noch mehr überraschende Anwendungen und Spezialeffekte bringen, lasst uns abwarten und sehen!