Google hat kürzlich sein neuestes Videogenerierungsmodell VideoPoet veröffentlicht, das Videos mit einer Länge von bis zu 10 Sekunden generieren und automatisch entsprechende Soundtrack-Soundeffekte erzeugen kann. Im Gegensatz zu früheren Diffusionsmodellen verwendet VideoPoet ein umfangreiches Sprachmodell, das die Integration mehrerer Funktionen wie Text-zu-Video, Videoreparatur und Videostilisierung ermöglicht und so die Flexibilität und Effizienz der Nutzung erheblich verbessert. Sein einzigartiger Videoverlängerungsmechanismus erzeugt die Illusion einer unendlichen Erweiterung des Videos, indem er wiederholt den Inhalt des nächsten Frames des letzten Frames vorhersagt und Benutzern ein neues Videogenerierungserlebnis bietet.
Am 19. Dezember veröffentlichte Google das Videogenerierungsmodell VideoPoet. Dieses Modell kann Videos mit einer Länge von bis zu 10 Sekunden erstellen und außerdem automatisch Soundeffekte basierend auf dem Videoinhalt generieren. VideoPoet erweitert das Video, indem es wiederholt den nächsten Frame-Inhalt des letzten Frames des Videos vorhersagt, sodass der Benutzer das Gefühl hat, dass das Video unendlich erweitert werden kann. Im Gegensatz zu anderen Modellen verwendet VideoPoet ein großes Sprachmodell anstelle eines Diffusionsmodells, sodass mehrere Funktionen wie Text-zu-Video, Videoreparatur und Videostilisierung in dasselbe Modell integriert werden, was die Verwendung flexibler macht.
Das Aufkommen von VideoPoet stellt einen bedeutenden Fortschritt in der Videogenerierungstechnologie dar. Es wird erwartet, dass seine leistungsstarken Funktionen und praktischen Bedienungsmethoden in Zukunft in verschiedenen Bereichen weit verbreitet sein werden und Benutzern ein umfassenderes und komfortableres Videoerstellungserlebnis bieten. Wir freuen uns darauf, dass VideoPoet in Zukunft weitere überraschende Funktionen und Anwendungen bereitstellt.