NVIDIA выпустила потрясающую технологию Edify3D, которая генерирует высококачественные 3D-модели всего за две минуты. Эта революционная технология использует текстовые описания или эталонные изображения для создания 3D-ресурсов, содержащих полные UV-карты, текстуры 4K и материалы PBR, внося революционные изменения в области разработки игр, производства фильмов и телевидения, а также расширенной реальности. Редакторы даункодов познакомят вас с подробностями этой технологии и с тем, как она изменит будущее создания 3D-контента.
Новейшая технология NVIDIA Edify3D совершила крупный прорыв в области создания 3D-ресурсов. Эта инновационная технология позволяет всего за две минуты создавать высококачественные 3D-модели, содержащие полные UV-карты, текстуры 4K и PBR-материалы, на основе текстовых описаний или эталонных изображений, производя революцию в таких отраслях, как игровой дизайн, производство фильмов и телевидения, а также решения расширенной реальности.
Edify3D использует уникальную техническую архитектуру, которая сочетает в себе многовидовые диффузионные модели с технологией реконструкции на основе трансформаторов. Его основной конвейер содержит три ключевых этапа:
Модель многоракурсной диффузии генерирует изображения RGB из нескольких представлений на основе входных данных;
Multi-view ControlNet синтезирует соответствующие нормали к поверхности;
Реконструированная модель интегрирует эту информацию в нейронное 3D-представление, которое генерирует окончательную геометрию посредством извлечения изоповерхности и постобработки сетки.
В практических приложениях Edify3D показывает отличную производительность. Он не только генерирует 3D-модели с точной структурой сетки, но также обеспечивает высокое разрешение текстур и целостность карт материалов. Система поддерживает создание разнообразных 3D-ресурсов, от рюкзаков до граммофонов и роботизированных рук, а сгенерированные модели имеют адаптивную топологию четырехугольной сетки для удобного постредактирования и рендеринга.
Особо стоит отметить, что Edify3D также можно использовать для создания сложных 3D-сцен. В сочетании с большой языковой моделью (LLM) система может определять макет сцены, положение и размеры объектов на основе текстовых подсказок, создавая последовательные и реалистичные комбинации трехмерных сцен. Эта функция обеспечивает мощную поддержку таких приложений, как художественный дизайн, 3D-моделирование и моделирование искусственного интеллекта.
Когда дело доходит до масштабируемости технологий, Edify3D превосходит других. По мере увеличения количества обучающих представлений качество и согласованность изображений, генерируемых моделью, продолжают улучшаться. Производительность реконструированной модели также улучшается по мере увеличения количества входных представлений, а размер трехплоскостного токена можно гибко регулировать в зависимости от вычислительных ресурсов.
Выпуск этой технологии знаменует собой новую эру в создании 3D-контента, обеспечивая беспрецедентное повышение эффективности и возможности создания в смежных отраслях.
Подробное введение: https://research.nvidia.com/labs/dir/edify-3d/
В целом, появление технологии Edify3D, несомненно, окажет глубокое влияние на сферу создания 3D-контента. Его эффективность, высокое качество и простота использования делают его мощным инструментом для будущего 3D-моделирования и проектирования сцен. Мы с нетерпением ждем, когда эта технология будет использоваться в большем количестве областей и принесет нам еще больше потрясающих визуальных впечатлений!