Команда Google DeepMind выпустила модель искусственного интеллекта под названием «Generative Omnimatte», которая может разбивать видео на несколько слоев, как опытный редактор, точно разделять людей, объекты и фон и даже «мозгом» «заполнять» заблокированные части для достижения различных крутых результатов. спецэффекты. Эта технология преодолевает ограничения традиционной технологии видеоматирования и позволяет легко выполнять сложные задачи редактирования видео без необходимости использования зеленого экрана или информации о глубине. Попрощайтесь с утомительными операциями, сделайте редактирование видео простым и удобным, и каждый сможет стать мастером редактирования видео!
Вы все еще помните эти крутые спецэффекты в фильмах? Объекты исчезают из воздуха, а сцены мгновенно меняются. Вас зацепило? Теперь команда Google DeepMind разработала модель искусственного интеллекта под названием «Generative Omnimatte», чтобы сделать эти спецэффекты возможными? Это больше не только для фильмов! Этот ИИ похож на опытного редактора, который может разбить видео на несколько слоев, каждый из которых содержит целый объект, а также тени, отражения и другие эффекты, которые он создает.
Традиционная технология видеоматирования обычно основана на съемке зеленого экрана или точной информации о глубине, с которой очень сложно работать. Эта модель искусственного интеллекта полностью свободна от этих ограничений. Она не требует никакой дополнительной информации и может прекрасно разделять персонажей, объекты и фон в видео и даже «заполнять мозг» закрытых частей. Эффект потрясающий!
Ядром этой модели ИИ является модель удаления видео под названием «Каспер». Это словно волшебный ластик, который способен точно стереть любой указанный вами в видео объект, при этом его тени и отражения исчезнут, а фон останется нетронутым.
Что еще более важно, он также может комбинировать объекты и фон в соответствии с потребностями пользователя для достижения различных творческих эффектов, таких как «телепортация» персонажей из одной сцены в другую, изменение скорости движения объектов или даже возможность повернуть время вспять!
С помощью этого артефакта в будущем будет так легко редактировать видео. Вы можете добавлять любые спецэффекты. Вам вообще не придется беспокоиться о технических проблемах. Например, каждый может стать мастером монтажа! чтобы «телепортировать» друга из дома на пляж, вам нужно всего лишь вырезать своих друзей и разместить их на фоне моря, разве это не очень просто? Вы даже можете позволить своим друзьям ходить задом наперед в видео. , или скопируйте их в несколько друзей и танцуйте вместе, кому как интересно.
Конечно, Generative Omnimatte все еще находится на стадии разработки, и еще есть некоторые мелкие ошибки, которые необходимо исправить. Например, если в видео несколько очень похожих объектов, ИИ может не суметь определить, кто есть кто, и перепутать их. Кроме того, если объект деформируется, например погнутый столб, ИИ не будет знать, что с этим делать. Однако я верю, что команда Google DeepMind вскоре решит эти проблемы и сделает Generative Omnimatte еще более совершенным!
Адрес проекта: https://gen-omnimatte.github.io/
Адрес статьи: https://arxiv.org/pdf/2411.16683.
Generative Omnimatte внес революционные изменения в редактирование видео и в будущем принесет нам еще больше удивительных приложений и спецэффектов, давайте подождем и посмотрим!