Die neueste Wiedererholungstechnologie, die vom Google Research Institute veröffentlicht wurde, hat Innovationen in den Bereich der Videobearbeitung gebracht. Es kann eine neue Version mit einem benutzerdefinierten Kamera -Track erzeugen, das auf vorhandenen Videos basiert, um die Anzeige von Videoinhalten aus verschiedenen Perspektiven zu ermöglichen und gleichzeitig den ursprünglichen Bewegungszustand von Charakteren und Szenen im Originalvideo perfekt beizubehalten. Diese Technologie ist wie Magie, die ein gewöhnliches Video in spannende Bilder aus mehreren Blickwinkeln und Perspektiven verwandeln kann.
Google Research hat kürzlich eine neue Technologie namens Recapture eingeführt, mit der Sie Ihre eigenen Videos aus einer völlig neuen Perspektive wieder erleben können. Die Rückeroberungstechnologie kann eine neue Version mit einem benutzerdefinierten Kamera -Track erstellen, das auf dem vom Benutzer bereitgestellten Video basiert. Dies bedeutet, dass Sie die Videoinhalte aus einer Perspektive ansehen können, die im Originalvideo nicht verfügbar ist, und auch die ursprüngliche Bewegung der Zeichen beibehalten und Szenen im Video.
Die Rückerfassung ist wie ein magischer Redakteur, der eine neue Version mit einer völlig neuen Perspektive erstellen kann, die auf den von Ihnen angegebenen Videos basiert. Wenn Sie beispielsweise ein Video eines Hundes mit Ihrem Handy gespielt haben, kann die Wiedererlangung Ihnen helfen, ein Video aus der Perspektive des Hundes zu generieren.
Wie genau implementiert die Wiederholung diese "Magie"? Es verwendet zunächst ein Multi-View-Diffusionsmodell oder die Point Cloud-Rendering-Technologie, um ein grobes Video zu generieren, das auf der neuen Perspektive basiert, die Sie gewünscht haben. Dieses raue Video ist wie ein unbekanntes Stück Jade.
Als nächstes wird Recapture seine Geheimwaffe verwenden - die "Mask -Video -Feinabstimmung" -Technologie, um dieses grobe Video exquisit zu erstellen. Diese Technologie ist wie ein erfahrener Handwerker, der Videos mit zwei speziellen Werkzeugen reparieren und optimieren kann - Space Lora und Time Lora. Space Lora ist wie eine "Kosmetikerin", die für das Erlernen der Charaktere und Szeneninformationen im Originalvideo verantwortlich ist und das Bild klarer und schöner macht. TIME LORA ist ein "Rhythmusmeister", der für das Lernen von Szenenbewegungen aus einer neuen Perspektive verantwortlich ist, um die Video -Wiedergabe reibungsloser und natürlicher zu gestalten.
Nach der gemeinsamen Schaffung dieser beiden "Meister" wurde das grobe Video in ein klares, kohärentes und dynamisches neues Video verwandelt. Um das Video perfekter zu machen, wird die Wiedererholung auch die SDEDIT -Technologie verwenden, um das Video zu beenden, genau wie Make -up, wodurch das Video empfindlicher und zarter wird.
Forscher von Google sagen, dass die Rückeroberung verschiedene Arten von Video- und Viewpoint -Conversions behandeln kann, ohne dass viele Trainingsdaten erforderlich sind. Dies bedeutet, dass Sie, selbst wenn Sie nur ein gewöhnlicher Video-Enthusiast sind, problemlos professionelle "Multi-Kamera" -Videos mit Rückeroberung erstellen können.
Projektadresse: https://generative-video-camera-controls.github.io/
Mit seinen einfachen und benutzerfreundlichen Funktionen und leistungsstarken Funktionen hat Recapture den Schwellenwert für die Videoproduktion von Multi-Views erheblich verringert und bietet neue Möglichkeiten für die Videoerstellung. In Zukunft kann diese Technologie in den Bereichen Filmproduktion, Spieleentwicklung und Virtual -Reality -Felder weit verbreitet sein, was eine immer mehr eindringlichere visuelle Erfahrung bietet.