Технология Edify3D, запущенная NVIDIA, позволяет создавать высококачественные 3D-модели, включая полные UV-карты, текстуры 4K и материалы PBR, всего за две минуты. Это, несомненно, меняет правила игры в области игрового дизайна, производства фильмов и телевидения, а также расширенной реальности. революция. Он основан на текстовых описаниях или эталонных изображениях и благодаря уникальной технической архитектуре сочетает в себе многоракурсные диффузионные модели с технологией реконструкции на основе Transformer для достижения эффективного и высококачественного создания 3D-активов.
Новейшая технология NVIDIA Edify3D совершила крупный прорыв в области создания 3D-ресурсов. Эта инновационная технология позволяет всего за две минуты создавать высококачественные 3D-модели, содержащие полные UV-карты, текстуры 4K и PBR-материалы, на основе текстовых описаний или эталонных изображений, производя революцию в таких отраслях, как игровой дизайн, производство фильмов и телевидения, а также решения расширенной реальности.
Edify3D использует уникальную техническую архитектуру, которая сочетает в себе многоракурсные диффузионные модели с технологией реконструкции на основе трансформаторов. Его основной конвейер содержит три ключевых этапа:
Модель многоракурсной диффузии генерирует изображения RGB из нескольких представлений на основе входных данных;
Multi-view ControlNet синтезирует соответствующие нормали к поверхности;
Реконструированная модель интегрирует эту информацию в нейронное 3D-представление, которое генерирует окончательную геометрию посредством извлечения изоповерхности и постобработки сетки.
В практических приложениях Edify3D показывает отличную производительность. Он не только генерирует 3D-модели с точной структурой сетки, но также обеспечивает высокое разрешение текстур и целостность карт материалов. Система поддерживает создание разнообразных 3D-ресурсов, от рюкзаков до граммофонов и роботизированных рук, а сгенерированные модели имеют адаптивную топологию четырехугольной сетки для удобного постредактирования и рендеринга.
Особо стоит отметить, что Edify3D также можно использовать для создания сложных 3D-сцен. В сочетании с большой языковой моделью (LLM) система может определять макет сцены, положение и размеры объектов на основе текстовых подсказок, создавая последовательные и реалистичные комбинации трехмерных сцен. Эта функция обеспечивает мощную поддержку таких приложений, как художественный дизайн, 3D-моделирование и моделирование искусственного интеллекта.
Когда дело доходит до масштабируемости технологий, Edify3D превосходит других. По мере увеличения количества обучающих представлений качество и согласованность изображений, генерируемых моделью, продолжают улучшаться. Производительность реконструированной модели также улучшается по мере увеличения количества входных представлений, а размер трехплоскостного токена можно гибко регулировать в зависимости от вычислительных ресурсов.
Выпуск этой технологии знаменует собой новую эру в создании 3D-контента, обеспечивая беспрецедентное повышение эффективности и возможности создания в смежных отраслях.
Подробное введение: https://research.nvidia.com/labs/dir/edify-3d/
Появление Edify3D знаменует собой новую волну развития в области 3D-моделирования. Его эффективные и удобные функции, несомненно, приведут к значительному повышению производительности во всех сферах жизни. Для получения дополнительной информации, пожалуйста, посетите официальную ссылку для получения более подробной информации.