Tencent AI Lab и ARC Lab компании Tencent PCG совместно выпустили новую платформу под названием StereoCrafter. Эта технология позволяет конвертировать обычное 2D-видео в высококачественное стереоскопическое 3D-видео, внося революционные изменения в процесс погружения. StereoCrafter использует технологию глубокого обучения, чтобы преодолеть ограничения традиционных методов преобразования 3D-видео, значительно улучшить эффект генерации и может адаптироваться к требованиям высокой точности различных устройств отображения для удовлетворения растущего спроса на 3D-контент.
Недавно Tencent AI Lab и ARC Lab компании Tencent PCG совместно запустили новую платформу под названием StereoCrafter, которая может конвертировать обычное 2D-видео в высококачественное стереоскопическое 3D-видео.
Это нововведение отвечает растущему спросу на 3D-контент, особенно в области иммерсивного опыта. StereoCrafter в полной мере использует преимущества базовой модели, преодолевает ограничения традиционных методов преобразования, значительно улучшает эффект генерации и гарантирует, что сгенерированный контент может соответствовать требованиям высокой точности различных устройств отображения.
Ядро системы разделено на два основных этапа. Первый шаг — переназначить видео на основе информации о глубине, извлечь информацию о окклюзии и одновременно выполнить преобразование видео. Второй шаг — восстановить стереоскопическое видео. В качестве основы система использует предварительно обученную стабильную модель диффузии видео и представляет протокол тонкой настройки для задачи рисования стереоскопического видео. Чтобы обрабатывать видеовходы различной длины и разрешения, команда также исследовала стратегии авторегрессии и методы обработки нарезки, чтобы гарантировать, что система может гибко адаптироваться к различным условиям ввода.
Для поддержки обучения команда создала сложный конвейер обработки данных, который генерировал крупномасштабные наборы данных высокого качества. В процессе создания набора данных исследовательская группа выбрала из большого количества стереоскопических видео и сгенерировала соответствующую глубину видео, преобразовала видео и информацию о окклюзии, чтобы видео справа служило настоящим эталоном. Эти инновационные методы предоставляют практические решения для преобразования 2D-видео в 3D-видео, позволяя Apple Vision Pro и другим устройствам 3D-дисплея обеспечить более захватывающий опыт погружения.
StereoCrafter — это не только технологический прорыв, он также вносит потенциальные изменения в то, как воспринимаются цифровые медиа, потенциально меняя то, как мы смотрим и воспринимаем цифровой контент.
Вход в проект: https://stereocrafter.github.io/
Основные моменты:
StereoCrafter использует новую технологию для эффективного преобразования 2D-видео в захватывающие стереоскопические 3D-видео.
Система разделена на два основных этапа: реконструкция видео по глубине и восстановление стереоскопического видео для улучшения эффекта генерации.
Исследовательская группа создала высококачественные наборы данных для поддержки обучения алгоритмов и обеспечения качества результатов.
Появление StereoCrafter знаменует собой значительный скачок в технологии преобразования видео 2D в 3D. Его эффективная эффективность преобразования и высокое качество вывода значительно обогатят процесс создания и потребления 3D-контента, предоставляя пользователям более захватывающий аудиовизуальный опыт. Ожидается, что в будущем эта технология будет широко использоваться в кино, играх, виртуальной реальности и других областях.