План Open-Sora v1.2 уже здесь! Это обновление содержит революционные обновления, суть которых лежит в новой трехмерной архитектуре полного внимания, которая полностью меняет то, как ИИ понимает физический мир, и обеспечивает переход от плоскости к трехмерности. Помимо значительного улучшения способности понимать физический мир, также была значительно улучшена способность генерировать видео из текста. Также были улучшены четкость и последовательность создаваемых видео. Возможности обработки пространственных и временных измерений. был значительно оптимизирован, а скорость вывода стала еще выше. Давайте посмотрим на подробные обновления Open-Sora Plan v1.2.
План Open-Sora снова обновлен! Последняя версия Open-Sora Plan v1.2 представляет новую трехмерную архитектуру с полным вниманием, которая улучшает понимание физического мира.
Основные моменты этого обновления:
Новая трехмерная архитектура полного внимания. Новая архитектура позволяет ИИ совершить качественный скачок в понимании физического мира. Это больше не QR-код, который может мыслить только в двух измерениях, теперь он может понимать этот трехмерный мир на 360 градусов без слепых зон!
Улучшенные возможности видеогенерации текста: вы вводите фрагмент текста, и искусственный интеллект может представить вам реалистичное видеоизображение.
Улучшенная четкость и согласованность. Благодаря новой архитектуре и оптимизированной структуре VAE качество видео, создаваемое Open-Sora, становится более четким, а контент — более последовательным. Попрощайтесь с двусмысленностью!
Идеальная интеграция пространства и времени: новая трехмерная архитектура полного внимания решает главную проблему предыдущей версии — одновременную обработку пространственных и временных измерений. Что это значит? Это означает, что сгенерированное видео будет значительно улучшено с точки зрения пространственных характеристик и временной плавности!
Скорость вывода значительно улучшена: оптимизированная структура CausalVideoVAE не только повышает производительность модели, но и значительно увеличивает скорость вывода. Вечеринки эффективности приветствуют!
Оглядываясь назад на историю развития Опен-Соры, мы обнаружим, что ее прогресс поразителен. Еще в мае 2024 года версия 1.1.0 все еще использовала архитектуру модели 2+1D, в основном используемую для исследовательского обучения. И теперь, всего несколько месяцев спустя, он превратился в творца, способного создать трехмерный мир. С такой скоростью даже Дарвин воскликнул бы: Теорию эволюции вот-вот перепишут!
Самое крутое, что команда Open-Sora ничего не скрывает! Код, данные и модели — все с открытым исходным кодом, и они просто втыкают вам в лицо инструкцию, как создать мир. Их цель проста: пусть каждый станет богом создания видео! Такой подход к открытию и обмену информацией, несомненно, ускорит прогресс технологии создания видео с помощью искусственного интеллекта.
Выпуск Open-Sora Plan v1.2.0 знаменует собой новую эру для моделей генерации видео. Это не только значительно улучшает сжатие визуального представления и эффективность рассуждений, но и указывает направление будущего развития.
Адрес проекта: https://top.aibase.com/tool/open-sora-plan-v1-2
Выпуск Open-Sora Plan v1.2 знаменует, что технология генерации видео с помощью искусственного интеллекта вступила в новый этап развития, а ее функция с открытым исходным кодом также дает мощный импульс технологическому прогрессу. Мы с нетерпением ждем новых сюрпризов, которые Open-Sora может преподнести в будущем!