A Universidade Sun Yat-sen e a equipe Byte Digital Human desenvolveram em conjunto uma estrutura de teste virtual chamada MMTryon. Essa estrutura pode gerar efeitos de teste de modelo de alta qualidade com apenas um clique, inserindo imagens de roupas e instruções de texto sobre como usar. Eles suportam personagens da vida real e de quadrinhos, simplificando muito o processo de teste virtual. Esta tecnologia rompe as limitações dos algoritmos tradicionais e consegue um processamento preciso de cenas de vestir complexas e estilos de roupa arbitrários sem a necessidade de segmentação fina das roupas, melhorando significativamente a eficiência e a conveniência.
Recentemente, a Sun Yat-sen University e a Byte Digital Human Team deram uma grande notícia. Eles propuseram uma estrutura de teste virtual chamada MMTryon. Isso não é simples. Contanto que você insira algumas fotos de roupas e adicione algumas instruções de texto sobre como usá-las, você pode gerar um efeito de teste de modelo com um clique, e a qualidade é extremamente alta.
Imagine que você seleciona um casaco, uma calça e uma bolsa e, com um clique, eles são automaticamente colocados no retrato. Não importa se você é uma pessoa real ou um personagem de quadrinhos, você pode fazer isso com um clique. Esta operação é simplesmente muito legal!
Além disso, o poder do MMTryon não para por aí. Em termos de vestimentas de imagem única, ele usa uma grande quantidade de dados para projetar um codificador de roupas que pode lidar com várias cenas complexas de vestimentas e qualquer estilo de roupa. Quanto à combinação de trocas de roupas, ela quebra a dependência do algoritmo tradicional na segmentação fina das roupas. Isso pode ser feito com um comando de texto e o efeito gerado é realista e natural.
No teste de benchmark, o MMTryon venceu diretamente o novo SOTA, e esse resultado não deve ser ignorado. A equipe de pesquisa também desenvolveu um mecanismo de atenção multimodal e multirreferência para tornar o efeito do curativo mais preciso e flexível. As soluções anteriores de experimentação virtual permitiam apenas que você experimentasse um único item ou você ficava impotente quanto ao estilo da roupa. Mas agora, o MMTryon resolverá tudo para você.
Além disso, o MMTryon também é muito inteligente. Ele usa um codificador de roupas com recursos de representação ricos, juntamente com um novo processo de geração de dados escalável, para que o processo de vestir não exija qualquer segmentação e possa atingir desempenho de alto nível diretamente por meio de texto e múltiplos. objetos experimentais. Vestimentas virtuais de qualidade.
Extensos experimentos em conjuntos de dados de código aberto e cenários complexos provaram que o MMTryon supera os métodos SOTA existentes, tanto qualitativa quanto quantitativamente. A equipe de pesquisa também pré-treinou um codificador de roupas, utilizando texto como consulta para ativar os recursos da área correspondente do texto, livrando-se da dependência da segmentação de roupas.
O que é ainda mais impressionante é que, para treinar mudanças combinadas de roupas, a equipe de pesquisa propôs um modelo de amplificação de dados baseado em modelos grandes e construiu um conjunto de dados aprimorado de 1 milhão, permitindo que o MMTryon fizesse testes virtuais reais em vários tipos de mudanças de roupas. efeito.
MMTryon é como uma tecnologia negra na indústria da moda. Ele não só pode ajudá-lo a experimentar roupas com um clique, mas também servir como um assistente de moda para ajudá-lo a escolher as roupas. Em termos de indicadores quantitativos e avaliação humana, o MMTryon supera outros modelos básicos e tem excelentes efeitos.
Endereço do artigo: https://arxiv.org/abs/2405.00448
Resumindo, o MMTryon demonstrou grande potencial de aplicação no campo da moda com sua função de teste virtual eficiente, precisa e conveniente, trazendo mudanças revolucionárias no design de roupas e na experiência de compra. Sua tecnologia líder e excelente desempenho fazem dele uma nova referência no campo da prova virtual.