Исследовательская группа Google выпустила Alchemist, революционную технологию редактирования изображений, которая позволяет пользователям точно контролировать материальные свойства объектов на изображениях, такие как цвет, блеск и прозрачность, без необходимости использования профессионального программного обеспечения или навыков. По своей сути Alchemist представляет собой тонко настроенную модель генерации текста в изображение, которая обеспечивает точный контроль над параметрами материала за счет синтеза наборов данных и изменения архитектуры модели Stable Diffusion 1.5. Эта технология может революционизировать процесс редактирования изображений, предоставляя мощные инструменты для таких профессионалов, как дизайнеры, художники и архитекторы.
Исследовательская группа Google недавно запустила революционную технологию — Alchemist. Эта технология позволяет пользователям точно редактировать свойства материала объектов на изображении, такие как цвет, блеск и прозрачность, без необходимости использования профессионального программного обеспечения и навыков для редактирования изображений.
В основе технологии Alchemist лежит точно настроенная модель преобразования текста в изображение (T2I). Исследовательская группа добилась точного контроля над параметрами материала, создав синтетические наборы данных и изменив архитектуру модели Stable Diffusion1.5.
В частности, исследователи сначала создали большое количество синтетических изображений, используя компьютерную графику и физические методы рендеринга. Эти изображения содержат различные 3D-модели со случайно выбранными материалами, ракурсами камеры и условиями освещения. Затем они внесли изменения в отдельные атрибуты этих изображений, создав несколько версий с разной степенью редактирования.
Путем точной настройки этих синтетических данных модель учится изменять только указанные свойства материала с учетом контекстных изображений, инструкций и редактировать значения интенсивности, сохраняя при этом форму элемента и освещение изображения неизменными.
Результаты экспериментов показывают, что эта технология может эффективно изменять внешний вид объектов, например усиливать ощущение металла или регулировать прозрачность. В исследованиях пользователей этот подход позволил добиться значительных преимуществ как в фотореалистичности, так и в предпочтениях пользователей по сравнению с базовым подходом.
Перспективы применения этой технологии широки. Он может помочь дизайнерам интерьеров предварительно просмотреть, как будет выглядеть комната после перекраски, или помочь архитекторам, художникам и дизайнерам быстро создать эскизы дизайна для новых продуктов. Кроме того, поскольку эффекты редактирования визуально единообразны, эту технологию также можно использовать для последующих 3D-задач, таких как реконструкция NeRF (нейронного радиационного поля).
Хотя технология Alchemist добилась значительного прогресса в редактировании материалов, исследовательская группа также указала на некоторые ограничения. Например, модель все еще имеет возможности для улучшения, когда дело доходит до обработки скрытых деталей на изображениях.
Однако исследователи уверены в потенциале этой технологии для контролируемого редактирования материалов. Ожидается, что благодаря дальнейшим исследованиям и оптимизации Alchemist произведет революцию в области редактирования изображений, сделав сложные задачи редактирования материалов более простыми и интуитивно понятными.
Технология Google Alchemist представляет собой еще один крупный прорыв в области искусственного интеллекта в области обработки изображений. Он не только упрощает сложный процесс редактирования изображений, но также предоставляет новые возможности для творческой индустрии и, как ожидается, окажет глубокое влияние во многих областях, таких как дизайн, искусство и виртуальная реальность.
Адрес проекта: https://prafullsharma.net/alchemist/
Появление технологии Alchemist знаменует собой еще одну веху в области искусственного интеллекта при редактировании изображений. Его эффективные и точные возможности редактирования материалов, несомненно, придадут новую жизнь творческой индустрии и будут способствовать дальнейшему развитию и инновациям связанных технологий.