Rhymes AI выпустила революционную модель преобразования текстового изображения в видео Allegro-TI2V, которая знаменует собой крупный прорыв в области искусственного интеллекта в творческой сфере. Allegro-TI2V поддерживает длину контекста до 79,2К, выходное разрешение 720×1280 пикселей и обеспечивает несколько режимов генерации, таких как последующая генерация видео и генерация промежуточного видео, что значительно повышает эффективность создания видео. Модель выпущена под лицензией Apache2.0, и пользователи могут легко получить к ней доступ и использовать ее.
Rhymes AI недавно выпустила свою революционную модель преобразования текстового изображения в видео Allegro-TI2V. Эта революционная технология открывает новые горизонты для создания цифрового контента. Являясь последним достижением в области генеративного искусственного интеллекта, Allegro-TI2V предоставляет творческим работникам беспрецедентные инструменты визуального повествования, подчеркивая огромный потенциал технологий искусственного интеллекта в творческой сфере.
Allegro-TI2V отличается множеством технических характеристик, поддерживая длину контекста до 79,2 КБ, что эквивалентно 88 кадрам видео. Его выходное разрешение составляет 720×1280 пикселей, а скорость генерации видео — 15 кадров в секунду. Пользователи также могут выбрать интерполяцию до 30 кадров в секунду для удовлетворения потребностей различных сценариев применения. Архитектура этой модели очень сложна и включает модель VideoVAE с 175 миллионами параметров и модель VideoDiT с 2,8 миллиардами параметров, что позволяет ей точно улавливать текстовые подсказки, вводимые пользователем, и суть исходного изображения. Кроме того, Allegro-TI2V также поддерживает режимы мультиточности (FP32, BF16, FP16). В режиме BF16 для генерации видео требуется всего 9,3 ГБ памяти графического процессора, что значительно снижает требования к оборудованию.
Новшеством Allegro-TI2V является то, что он представляет два новых режима генерации: Последующая генерация видео: на основе текстовых подсказок и начальных кадров создается непрерывный видеоконтент. Этот режим помогает создателям легко создавать видеоролики, соответствующие заданной теме и стилю. Генерация промежуточного видео: на основе первого и последнего кадров данного видео создавайте естественные переходные промежуточные кадры, преодолевая временные и пространственные ограничения традиционного редактирования видео.
Эти инновационные режимы позволяют Allegro-TI2V предоставить создателям более эффективный и гибкий метод создания видео, что значительно повышает эффективность и качество создания.
Rhymes AI выпустила Allegro-TI2V под лицензией Apache 2.0, что делает эту технологию более доступной и удобной для использования исследователями, разработчиками и создателями контента. Пользователям достаточно установить Python3.10+, PyTorch2.4+ и CUDA12.4+, чтобы легко начать работу и быстро опробовать эту передовую технологию.
Allegro-TI2V имеет широкий спектр перспектив применения: от кинопроизводства и разработки игр до цифрового искусства и творческого прототипирования, и все это может в полной мере раскрыть его мощные возможности генерации. Согласно данным, предоставленным разработчиком, один графический процессор H100 может генерировать 6-секундное видео примерно за 20 минут. При конфигурации из 8 графических процессоров H100 время генерации будет сокращено до 3 минут, что значительно повысит эффективность создания видеоконтента. .
Адрес использования: https://huggingface.co/rhymes-ai/Allegro-TI2V
Адрес продукта: https://rhymes.ai/blog-details/allegro-advanced-video-generation-model.
Благодаря своим мощным функциям и простоте использования Allegro-TI2V будет в значительной степени способствовать развитию создания видеоконтента и откроет новые возможности для творческой индустрии. Его открытый исходный код также способствует более широкому участию сообщества и технологическому развитию, и стоит с нетерпением ждать его будущих приложений и улучшений.