La Universidad Sun Yat-sen y el equipo humano de Byte Digital han desarrollado conjuntamente un marco de prueba virtual llamado MMTryon. Este marco puede generar efectos de prueba de modelos de alta calidad con solo un clic ingresando imágenes de ropa e instrucciones de texto sobre cómo usarlas. Admite personajes de cómics y de la vida real, lo que simplifica enormemente el proceso de prueba virtual. Esta tecnología rompe las limitaciones de los algoritmos tradicionales y logra un procesamiento preciso de escenas de vestimenta complejas y estilos de ropa arbitrarios sin la necesidad de una segmentación fina de la ropa, lo que mejora en gran medida la eficiencia y la conveniencia.
Recientemente, la Universidad Sun Yat-sen y el equipo humano de Byte Digital propusieron un marco de prueba virtual llamado MMTryon. Esto no es simple, siempre que ingrese algunas imágenes de ropa y agregue algunas instrucciones de texto sobre cómo usarlas, puede generar un efecto de prueba de modelo con un clic y la calidad es extremadamente alta.
Imagina que seleccionas un abrigo, un pantalón y un bolso, y luego, con un clic, automáticamente se ponen en el retrato. No importa si eres una persona real o un personaje de cómic, puedes hacerlo con un solo clic. ¡Esta operación es simplemente genial!
Además, el poder de MMTryon no termina ahí. En términos de vestimenta de una sola imagen, utiliza una gran cantidad de datos para diseñar un codificador de ropa que pueda manejar varias escenas de vestimenta complejas y cualquier estilo de ropa. En cuanto a la combinación de cambios de ropa, rompe la dependencia del algoritmo tradicional de la segmentación fina de la ropa. Se puede realizar con un comando de texto y el efecto generado es realista y natural.
En la prueba comparativa, MMTryon ganó directamente el nuevo SOTA, y este resultado no es algo que deba ignorarse. El equipo de investigación también desarrolló un mecanismo de atención multimodal y de referencia múltiple para hacer que el efecto del apósito sea más preciso y flexible. Las soluciones de prueba virtuales anteriores solo te permitían probarte una sola prenda o no podías saber el estilo de la ropa. Pero ahora, MMTryon lo resolverá todo por usted.
Además, MMTryon también es muy inteligente: utiliza un codificador de ropa con ricas capacidades de representación, junto con un novedoso proceso de generación de datos escalable, de modo que el proceso de vestimenta no requiere ninguna segmentación y puede lograr un rendimiento de alto nivel directamente a través de texto y múltiples. Objetos de prueba. Disfraz virtual de calidad.
Amplios experimentos con conjuntos de datos de código abierto y escenarios complejos han demostrado que MMTryon supera a los métodos SOTA existentes tanto cualitativa como cuantitativamente. El equipo de investigación también entrenó previamente un codificador de ropa, utilizando texto como consulta para activar las características del área correspondiente del texto, eliminando la dependencia de la segmentación de ropa.
Lo que es aún más sorprendente es que para entrenar cambios de vestimenta combinados, el equipo de investigación propuso un modelo de amplificación de datos basado en modelos grandes y construyó un conjunto de datos mejorado de 1 millón, lo que permitió a MMTryon realizar pruebas virtuales reales en varios tipos de cambios de vestimenta. efecto.
MMTryon es como una tecnología negra en la industria de la moda. No solo puede ayudarte a probarte ropa con un solo clic, sino que también sirve como asistente de vestimenta para ayudarte a elegir la ropa. En términos de indicadores cuantitativos y evaluación humana, MMTryon supera a otros modelos básicos y tiene excelentes efectos.
Dirección del artículo: https://arxiv.org/abs/2405.00448
Con todo, MMTryon ha demostrado un gran potencial de aplicación en el campo de la moda con su función de prueba virtual eficiente, precisa y conveniente, aportando cambios revolucionarios al diseño de ropa y la experiencia de compra. Su tecnología puntera y sus destacadas prestaciones lo convierten en un nuevo referente en el ámbito de la prueba virtual.