El equipo de investigación de Google ha lanzado Alchemist, una innovadora tecnología de edición de imágenes que permite a los usuarios controlar con precisión las propiedades materiales de los objetos en las imágenes, como el color, el brillo y la transparencia, sin necesidad de software o habilidades profesionales. En esencia, Alchemist es un modelo de generación de texto a imagen ajustado que logra un control preciso sobre los parámetros del material mediante la síntesis de conjuntos de datos y la modificación de la arquitectura del modelo Stable Diffusion 1.5. Esta tecnología tiene el potencial de revolucionar el proceso de edición de imágenes, proporcionando herramientas poderosas para profesionales como diseñadores, artistas y arquitectos.
El equipo de investigación de Google lanzó recientemente una tecnología innovadora: Alchemist. Esta tecnología permite a los usuarios editar con precisión las propiedades materiales de los elementos de una imagen, como el color, el brillo y la transparencia, sin la necesidad de conocimientos ni software de edición de imágenes profesionales.
En el centro de la tecnología de Alchemist se encuentra un modelo de generación de texto a imagen (T2I) ajustado. El equipo de investigación logró un control preciso sobre los parámetros del material mediante la creación de conjuntos de datos sintéticos y la modificación de la arquitectura del modelo Stable Diffusion1.5.
Específicamente, los investigadores primero generaron una gran cantidad de imágenes sintéticas utilizando gráficos por computadora y técnicas de representación físicas. Estas imágenes contienen varios modelos 3D con materiales, ángulos de cámara y condiciones de iluminación seleccionados al azar. Luego realizaron cambios en atributos individuales de estas imágenes, generando múltiples versiones con diferentes niveles de edición.
Al ajustar estos datos sintéticos, el modelo aprende a cambiar solo las propiedades del material especificadas, dadas las imágenes de contexto, las instrucciones y a editar los valores de intensidad, manteniendo sin cambios la forma del elemento y la iluminación de la imagen.
Los resultados experimentales muestran que esta tecnología puede cambiar eficazmente la apariencia de los objetos, como mejorar la sensación metálica o ajustar la transparencia. En estudios de usuarios, este enfoque logró ventajas significativas tanto en fotorrealismo como en preferencias del usuario en comparación con el enfoque básico.
Las perspectivas de aplicación de esta tecnología son amplias. Puede ayudar a los diseñadores de interiores a obtener una vista previa del aspecto que tendrá una habitación cuando se vuelva a pintar, o ayudar a los arquitectos, artistas y diseñadores a crear rápidamente bocetos de diseño para nuevos productos. Además, debido a que los efectos de edición son visualmente consistentes, la tecnología también se puede utilizar para tareas 3D posteriores, como la reconstrucción NeRF (campo de radiación neuronal).
Aunque la tecnología Alchemist ha logrado avances significativos en la edición de materiales, el equipo de investigación también señaló algunas limitaciones. Por ejemplo, el modelo todavía tiene margen de mejora en lo que respecta al manejo de detalles ocultos en las imágenes.
Sin embargo, los investigadores confían en el potencial de la tecnología para la edición controlada de material. Con más investigación y optimización, se espera que Alchemist revolucione el campo de la edición de imágenes, haciendo que las tareas complejas de edición de materiales sean más simples e intuitivas.
La tecnología Alchemist de Google representa otro gran avance de la inteligencia artificial en el campo del procesamiento de imágenes. No sólo simplifica el complejo proceso de edición de imágenes, sino que también ofrece nuevas posibilidades para la industria creativa y se espera que tenga un profundo impacto en múltiples campos como el diseño, el arte y la realidad virtual.
Dirección del proyecto: https://prafullsharma.net/alchemist/
La aparición de la tecnología Alchemist marca otro hito en el campo de la inteligencia artificial en la edición de imágenes. Sus capacidades de edición de materiales eficientes y precisas seguramente aportarán nueva vitalidad a la industria creativa y promoverán el desarrollo continuo y la innovación de tecnologías relacionadas.