Der Herausgeber von Downcodes wird Sie mit der neuesten von Google Research veröffentlichten ReCapture-Technologie vertraut machen! Diese erstaunliche Technologie interpretiert Ihre Videos aus einer völlig neuen Perspektive und bietet Ihnen ein beispielloses Seherlebnis. Dabei handelt es sich nicht um eine einfache Videobearbeitung, sondern es wird mithilfe von KI-Technologie eine neue Version mit benutzerdefinierten Kamerabahnen basierend auf dem von Ihnen bereitgestellten Video generiert, sodass Sie scheinbar die Möglichkeit haben, mit mehreren Kameras aufzunehmen, selbst bei täglichen Videos, die mit Ihrem Mobiltelefon aufgenommen werden . Es kann auch einen filmähnlichen Effekt haben. Sind Sie bereit? Lassen Sie uns gemeinsam die Magie von ReCapture erkunden!
Google Research hat kürzlich eine neue Technologie namens ReCapture auf den Markt gebracht, mit der Sie Ihre eigenen Videos aus einer neuen Perspektive erleben können. Die ReCapture-Technologie kann eine neue Version mit benutzerdefinierten Kameraspuren basierend auf dem vom Benutzer bereitgestellten Video generieren. Dies bedeutet, dass Sie den Videoinhalt aus einer Perspektive betrachten können, die im Originalvideo nicht zu finden ist, und dennoch die ursprüngliche Bewegung der Charaktere und Szenen darin beibehalten das Video.
ReCapture ist wie ein magischer Editor, der basierend auf dem von Ihnen bereitgestellten Video eine neue Version mit einer neuen Perspektive erstellen kann. Wenn Sie beispielsweise ein Video von einem Hund aufnehmen, der mit Ihrem Mobiltelefon spielt, kann Ihnen ReCapture dabei helfen, ein Video aus der Perspektive des Hundes zu erstellen. Ist das nicht erstaunlich?
Wie erreicht ReCapture diese „Magie“? Tatsächlich ist das Prinzip dahinter nicht kompliziert. Zunächst wird ein Multi-View-Diffusionsmodell oder eine Punktwolken-Rendering-Technologie verwendet, um ein grobes Video basierend auf der neuen gewünschten Perspektive zu erstellen. Dieses grobe Video ist wie eine unpolierte Jade, das Bild ist möglicherweise unvollständig, die Zeit ist möglicherweise inkonsistent und es schwankt möglicherweise wie ein Betrunkener.
Als nächstes wird ReCapture seine Geheimwaffe – die „Mask Video Fine-Tuning“ -Technologie – einsetzen, um dieses grobe Video „fein zu polieren“. Diese Technologie ist wie ein erfahrener Handwerker, der zwei Spezialwerkzeuge – räumliches LoRA und zeitliches LoRA – verwendet, um das Video zu reparieren und zu optimieren. Spatial LoRA ist wie eine „Kosmetikerin“, die dafür verantwortlich ist, die Charaktere und Szeneninformationen im Originalvideo zu lernen, um das Bild klarer und schöner zu machen. Time LoRA ist ein „Rhythmus-Master“, der dafür verantwortlich ist, Szenenbewegungen aus neuen Perspektiven zu lernen, um die Videowiedergabe flüssiger und natürlicher zu gestalten.
Durch die gemeinsame Anstrengung dieser beiden „Meister“ wurde das Rohvideo in ein klares, kohärentes und dynamisches neues Video umgewandelt. Um den Videoeffekt noch perfekter zu machen, verwendet ReCapture außerdem die SDEdit-Technologie, um dem Video den letzten Schliff zu verleihen, genau wie Make-up, wodurch das Video raffinierter und zarter wird.
Laut Google-Forschern kann ReCapture verschiedene Arten von Videos und Perspektivenübergängen verarbeiten, ohne dass große Mengen an Trainingsdaten erforderlich sind. Das bedeutet, dass Sie mit ReCapture auch als gewöhnlicher Video-Enthusiast ganz einfach professionelle „Multi-Kamera“-Videos erstellen können.
Projektadresse: https://generative-video-camera-controls.github.io/
Das Aufkommen der ReCapture-Technologie hat zweifellos neue Möglichkeiten in den Bereich der Videoerstellung gebracht. Es vereinfacht den Multi-View-Videoproduktionsprozess und ermöglicht es mehr Menschen, die Freude am Schaffen zu erleben. Ich glaube, dass ReCapture in Zukunft in mehr Bereichen eingesetzt werden und uns mehr Überraschungen bringen wird!