El equipo de investigación de Alibaba Damo Academy publicó un artículo titulado "SHMT: Transferencia de maquillaje jerárquico autosupervisada" en la conferencia NeurIPS 2024. La investigación propuso una nueva tecnología de transferencia de efectos de maquillaje. Esta tecnología utiliza modelos de difusión latente para generar imágenes de maquillaje con precisión y tiene grandes perspectivas de aplicación en los campos de aplicaciones de maquillaje y procesamiento de imágenes. El modelo SHMT solo necesita una imagen de referencia de maquillaje y una foto de la persona objetivo para transferir los efectos de maquillaje al rostro objetivo, lo que simplifica enormemente el proceso de edición y aplicación de efectos de maquillaje. El equipo ha abierto el código de capacitación, el código de prueba y el modelo previamente entrenado para facilitar la investigación y el desarrollo adicionales por parte de los investigadores.
Recientemente, el equipo de investigación de Alibaba Damo Academy publicó un importante resultado de investigación llamado "SHMT: transferencia de maquillaje jerárquico autosupervisada". El artículo fue aceptado por la principal conferencia académica internacional NeurIPS2024. Esta investigación demuestra una nueva tecnología de transferencia de efectos de maquillaje que utiliza modelos de difusión latente (Modelos de difusión latente) para lograr una generación precisa de imágenes de maquillaje, inyectando nueva vitalidad en los campos de aplicación de maquillaje y procesamiento de imágenes.
En pocas palabras, SHMT es una tecnología de transferencia de maquillaje. Siempre que se utilice una imagen de referencia de maquillaje y una fotografía del personaje objetivo, el efecto de maquillaje se puede transferir a la cara objetivo.
El equipo adoptó un enfoque de código abierto en el proyecto y publicó código de capacitación, código de prueba y modelos de capacitación previa, lo que facilitó a los investigadores realizar investigaciones y desarrollos relacionados.
Durante el proceso de creación del modelo, el equipo recomienda a los usuarios crear un entorno conda llamado "ldm" y completar rápidamente la configuración a través del archivo de entorno proporcionado. Además, en el estudio se seleccionó VQ-f4 como modelo de codificación automática previamente entrenado. Los usuarios deben descargarlo y colocarlo en la carpeta de puntos de control especificada para comenzar la inferencia sin problemas.
La preparación de datos es clave para el funcionamiento exitoso del modelo SHMT. El equipo de investigación recomienda descargar el conjunto de datos de transferencia de maquillaje proporcionado por "BeautyGAN" e integrar diferentes imágenes de maquillaje y sin maquillaje. Al mismo tiempo, la preparación del análisis facial y de los datos faciales 3D también es crucial, y en el estudio se detallan las herramientas y rutas de datos relevantes para garantizar que los usuarios puedan preparar los datos de manera efectiva.
En términos de entrenamiento e inferencia de modelos, el equipo de investigación proporciona scripts de línea de comandos detallados para que los usuarios puedan ajustar los parámetros según sus propias necesidades. El equipo también enfatizó particularmente la importancia de la estructura de datos, proporcionando ejemplos claros de estructura de directorios para guiar a los usuarios sobre cómo preparar los datos.
El lanzamiento del modelo SHMT marca la aplicación exitosa del aprendizaje autosupervisado en el campo de la transferencia de efectos de maquillaje y puede usarse ampliamente en belleza, cosmética, procesamiento de imágenes y otras industrias en el futuro. Esta investigación no sólo demuestra el potencial de la tecnología, sino que también sienta una base sólida para una investigación en profundidad en campos relacionados.
Entrada del proyecto: https://github.com/Snowfallingplum/SHMT
Reflejos:
1. El modelo SHMT utiliza el modelo de difusión latente para lograr la transferencia del efecto de maquillaje y ha sido aceptado por NeurIPS2024.
2. El equipo proporciona código fuente abierto completo y modelos previamente entrenados para facilitar la aplicación y mejora de los investigadores.
3. La preparación de datos y el ajuste de parámetros son cruciales, y el estudio proporciona orientación detallada sobre el proceso operativo y la estructura del directorio.
Con todo, la versión de código abierto del modelo SHMT proporciona herramientas y recursos poderosos para la investigación de la migración del efecto del maquillaje, y vale la pena esperar sus perspectivas de aplicación en los campos de la belleza, la cosmética y el procesamiento de imágenes. El carácter innovador y práctico de esta investigación la convierte en un avance importante en el campo y sienta una base sólida para futuras investigaciones relacionadas.