Rhymes AI hat das revolutionäre Modell Allegro-TI2V zur Text-Bild-zu-Video-Generierung auf den Markt gebracht, das einen großen Durchbruch in der KI im kreativen Bereich darstellt. Allegro-TI2V unterstützt eine Kontextlänge von bis zu 79,2 KB, eine Ausgabeauflösung von 720 x 1280 Pixel und bietet mehrere Generierungsmodi, wie z. B. nachfolgende Videogenerierung und Zwischenvideogenerierung, was die Effizienz der Videoerstellung erheblich verbessert. Das Modell wird unter der Apache2.0-Lizenz veröffentlicht und kann von Benutzern problemlos aufgerufen und verwendet werden.
Rhymes AI hat kürzlich sein revolutionäres Modell Allegro-TI2V zur Text-Bild-zu-Video-Generierung veröffentlicht. Diese bahnbrechende Technologie eröffnet neue Grenzen für die Erstellung digitaler Inhalte. Als neueste Weiterentwicklung der generativen KI bietet Allegro-TI2V Kreativarbeitern beispiellose visuelle Storytelling-Tools und verdeutlicht das enorme Potenzial der KI-Technologie im kreativen Bereich.
Allegro-TI2V zeichnet sich durch mehrere technische Spezifikationen aus und unterstützt Kontextlängen von bis zu 79,2 KB, was 88 Videobildern entspricht. Die Ausgabeauflösung beträgt 720 x 1280 Pixel und die Videoerzeugungsgeschwindigkeit beträgt 15 Bilder pro Sekunde. Benutzer können auch eine Interpolation auf 30 FPS wählen, um den Anforderungen verschiedener Anwendungsszenarien gerecht zu werden. Die Architektur dieses Modells ist sehr komplex, einschließlich des VideoVAE-Modells mit 175 Millionen Parametern und des VideoDiT-Modells mit 2,8 Milliarden Parametern, wodurch die vom Benutzer eingegebenen Textansagen und die Essenz des ursprünglichen Bildes genau erfasst werden können. Darüber hinaus unterstützt Allegro-TI2V auch Multipräzisionsmodi (FP32, BF16, FP16). Im BF16-Modus werden nur 9,3 GB GPU-Speicher zur Videogenerierung benötigt, was die Hardwareanforderungen erheblich reduziert.
Die Innovation von Allegro-TI2V besteht darin, dass es zwei neue Generationsmodi einführt: Nachfolgende Videogenerierung: Basierend auf Textansagen und Anfangsbildern wird kontinuierlicher Videoinhalt erstellt. Dieser Modus hilft Erstellern, ganz einfach Videos zu erstellen, die zu ihrem festgelegten Thema und Stil passen. Zwischenvideogenerierung: Erstellen Sie auf der Grundlage der ersten und letzten Bilder eines bestimmten Videos natürliche Übergangszwischenbilder und durchbrechen Sie so die Zeit- und Platzbeschränkungen der herkömmlichen Videobearbeitung.
Diese innovativen Modi ermöglichen es Allegro-TI2V, den Erstellern eine effizientere und flexiblere Methode zur Videoerstellung zu bieten und so die Effizienz und Qualität der Erstellung erheblich zu verbessern.
Rhymes AI hat Allegro-TI2V unter der Apache 2.0-Lizenz veröffentlicht, wodurch diese Technologie für Forscher, Entwickler und Inhaltsersteller leichter zugänglich und nutzbar ist. Benutzer müssen lediglich Python3.10+, PyTorch2.4+ und CUDA12.4+ installieren, um einfach loszulegen und diese fortschrittliche Technologie schnell kennenzulernen.
Allegro-TI2V verfügt über ein breites Anwendungsspektrum, von der Filmproduktion und Spieleentwicklung bis hin zu digitaler Kunst und kreativem Prototyping, die alle seine leistungsstarken Erzeugungsfähigkeiten voll ausschöpfen können. Nach Angaben des Entwicklers kann eine einzelne H100-GPU ein 6-Sekunden-Video in etwa 20 Minuten generieren. Bei einer Konfiguration mit 8 H100-GPUs verkürzt sich die Generierungszeit auf 3 Minuten, was die Effizienz der Videoinhaltserstellung erheblich verbessert .
Nutzungsadresse: https://huggingface.co/rhymes-ai/Allegro-TI2V
Produktadresse: https://rhymes.ai/blog-details/allegro-advanced-video-generation-model
Mit seinen leistungsstarken Funktionen und seiner Benutzerfreundlichkeit wird Allegro-TI2V die Entwicklung der Videoinhaltserstellung erheblich vorantreiben und der Kreativbranche neue Möglichkeiten eröffnen. Sein Open-Source-Charakter fördert auch eine breitere Beteiligung der Community und die technologische Entwicklung, und es lohnt sich, auf zukünftige Anwendungen und Verbesserungen gespannt zu sein.