TransPixar, система искусственного интеллекта, совместно запущенная Adobe Research и Гонконгским университетом науки и технологий, производит революцию в производстве визуальных эффектов для фильмов, игр и интерактивных медиа. Он радикально решает проблему прозрачных элементов, создаваемых искусственным интеллектом в видео, таких как дым и отражения, позволяя им естественным образом сливаться со сценой, предоставляя создателям беспрецедентное творческое пространство. Ключом к TransPixar является способность генерировать визуальные эффекты, включающие альфа-канал, чего трудно достичь с помощью традиционных инструментов искусственного интеллекта. Эта технология не только повышает эффективность производства, но и снижает производственные затраты, что особенно актуально для небольших студий.
TransPixar, система искусственного интеллекта, совместно разработанная Adobe Research и Гонконгским университетом науки и технологий (HKUST), переосмысливает способы создания визуальных эффектов в фильмах, играх и интерактивных медиа. Этот технологический прорыв решает проблему прозрачных элементов в видеороликах, созданных искусственным интеллектом, позволяя естественным образом интегрировать в сцену такие эффекты, как дым и отражение, предоставляя создателям новые творческие возможности.
Ключевым нововведением TransPixar является возможность генерировать визуальные эффекты, включающие прозрачность (альфа-канал). Традиционные инструменты искусственного интеллекта обычно могут обрабатывать только сплошные изображения, что затрудняет точное слияние таких прозрачных элементов. Ли Ицзюнь, руководитель проекта Adobe Research, сказал, что альфа-канал имеет решающее значение для визуальных спецэффектов. Однако из-за ограничений обучающих данных создание высококачественных RGBA-видео всегда было проблемой.
Внедрение этой технологии происходит в то время, когда спрос на визуальные эффекты растет в индустрии развлечений, рекламы и игр. Традиционные эффекты прозрачности обычно требуют от художников тратить много времени и энергии на создание, но TransPixar упрощает эту работу за счет эффективного процесса генерации искусственного интеллекта, что значительно повышает эффективность производства.
Демонстрация эффекта прозрачности TransPixar показывает фотореалистичного робота, созданного с использованием сложных отражающих поверхностей и бесшовного смешивания альфа-каналов, что позволяет изображению сливаться с любым фоном. (Источник: исследования Adobe)
Инновационные технологические приложения
TransPixar способен создавать высококачественные эффекты прозрачности с очень ограниченными обучающими данными. Исследовательская группа приняла инновационное техническое решение для успешного достижения этой цели, расширив существующие модели видеоИИ, а не создавая модели с нуля. Ведущий автор Луочжоу Ван из Гонконгского университета науки и технологий объяснил, что команда представила новый маркер для генерации альфа-канала и доработала схему, чтобы обеспечить качественную интеграцию эффекта прозрачности с RGB-изображением.
В демо-версии TransPixar продемонстрировала свои мощные возможности. С помощью простых текстовых подсказок ИИ может создавать такие эффекты, как грозовые тучи, магические порталы, разбитое стекло и густой дым. В то же время эта технология может также анимировать статичные изображения, даря дизайнерам новое творческое вдохновение. Код системы опубликован на GitHub, и разработчики могут экспериментировать и применять его с помощью демонстраций на Hugging Face.
Красный самолет, созданный TransPixar, демонстрирует способность систем искусственного интеллекта создавать объекты с точными эффектами прозрачности. Клетчатый фон на изображении демонстрирует плавную интеграцию альфа-канала — ключевое технологическое достижение для визуального контента, создаваемого искусственным интеллектом. (Источник: Adobe)
Преобразуйте свой творческий рабочий процесс
Первые тесты показывают, что TransPixar не только ускорит процесс производства визуальных эффектов, но и снизит производственные затраты для небольших студий, позволяя им создавать специальные эффекты, которые когда-то были возможны только в более крупных студиях. Для больших производственных групп TransPixar может значительно повысить эффективность работы и ускорить ход проекта.
Эта технология имеет большой потенциал, особенно в приложениях реального времени. В видеоиграх, приложениях дополненной реальности и прямых трансляциях эффекты прозрачности могут создаваться гораздо быстрее, чем традиционные методы, и рендериться мгновенно, что значительно сокращает рабочий цикл.
Для Adobe запуск TransPixar произошел в идеальное время. С развитием технологий искусственного интеллекта такие компании, как Stability AI и Runway, также конкурируют за выпуск профессиональных инструментов для создания спецэффектов. Крупные кинокомпании начали стремиться использовать технологию искусственного интеллекта для снижения затрат на спецэффекты, и появление TransPixar оказывает мощную поддержку.
глубокое влияние на творческие индустрии
Индустрия развлечений в настоящее время сталкивается с тремя основными проблемами: растущий спрос, ограниченный бюджет и нехватка художников по спецэффектам. TransPixar предлагает эффективное решение, ускоряя производство спецэффектов, снижая затраты и повышая стабильность качества. Эта революционная технология не только изменит способ создания спецэффектов, но и может произвести революцию в традиционных рабочих процессах создания визуальных эффектов в течение следующих пяти лет.
С ростом популярности искусственного интеллекта в производстве визуальных эффектов вопрос, будет ли будущее кино- и телепроизводство по-прежнему полагаться на традиционный рабочий процесс VFX, стал вопросом, заслуживающим размышления.
Появление TransPixar знаменует революцию в области производства визуальных эффектов. Его эффективные и удобные функции значительно повысят творческую эффективность и откроют новые возможности для творческой индустрии. Стоит рассчитывать на его дальнейшее развитие и более широкое применение.