See3D, новейшая модель 3D-поколения, выпущенная Пекинским научно-исследовательским институтом искусственного интеллекта Чжиюань (BAAI), добилась технологического прорыва в использовании огромных объемов неразмеченных интернет-видео для создания 3D-сцен. Эта модель не требует использования традиционных параметров камеры и трехмерных аннотаций. Она может генерировать многоракурсные изображения с управляемыми направлениями камеры и согласованной геометрией, используя только визуальные подсказки в видео, что значительно снижает стоимость и сложность сбора трехмерных данных. See3D поддерживает различные методы создания 3D-изображений, включая генерацию на основе текста, одного изображения и разреженного изображения, а также поддерживает 3D-редактирование и гауссовскую визуализацию. Диапазон его приложений охватывает многие области, такие как интерактивный 3D-мир, 3D-реконструкция и открытый мир. Генерация 3D Демонстрирует большой потенциал применения. Код модели и демонстрационная версия были открыты для облегчения дальнейшего изучения и применения исследователями.
Обучение модели See3D основано на наборе данных WebVi3D, содержащем 16 миллионов видеоклипов и 320 миллионов кадров изображений. Путем добавления зависящего от времени шума к замаскированным видеоданным достигается создание 3D-изображений без использования камеры. Его преимущества заключаются в масштабируемости данных, управляемости камерой и геометрической согласованности. Он может генерировать сцены при любых сложных траекториях камеры и поддерживать геометрическую согласованность изображений предыдущего и следующего кадра. See3D предлагает новые идеи для развития технологии генерации 3D-изображений, которая, как ожидается, привлечет внимание сообщества 3D-исследователей к крупномасштабным данным аннотаций без использования камер и сократит разрыв с существующими 3D-решениями с закрытым исходным кодом. Адрес проекта: https://vision.baai.ac.cn/see3d
Благодаря продуманному дизайну модель See3D решает проблему высокой стоимости традиционного сбора 3D-данных и обеспечивает более удобное и эффективное решение для создания 3D-контента. Его открытый исходный код также побуждает больше исследователей участвовать и совместно продвигать развитие технологии генерации 3D. Я считаю, что появление See3D окажет глубокое влияние на сферу 3D-видения.