A equipe de pesquisa da Alibaba Damo Academy publicou um artigo intitulado "SHMT: Transferência de maquiagem hierárquica auto-supervisionada" na conferência NeurIPS 2024. A pesquisa propôs uma nova tecnologia de transferência de efeito de maquiagem. Essa tecnologia usa modelos de difusão latente para gerar imagens de maquiagem com precisão e tem grandes perspectivas de aplicação nas áreas de aplicações de maquiagem e processamento de imagens. O modelo SHMT precisa apenas de uma imagem de referência de maquiagem e uma foto da pessoa alvo para transferir os efeitos de maquiagem para o rosto alvo, simplificando bastante o processo de edição e aplicação de efeitos de maquiagem. A equipe abriu o código de treinamento, o código de teste e o modelo pré-treinado para facilitar futuras pesquisas e desenvolvimento por parte dos pesquisadores.
Recentemente, a equipe de pesquisa da Alibaba Damo Academy divulgou um importante resultado de pesquisa chamado "SHMT: Transferência de maquiagem hierárquica auto-supervisionada". O artigo foi aceito pela principal conferência acadêmica internacional NeurIPS2024. Esta pesquisa demonstra uma nova tecnologia de transferência de efeitos de maquiagem que utiliza modelos de difusão latente (Modelos de Difusão Latente) para obter geração precisa de imagens de maquiagem, injetando nova vitalidade nas áreas de aplicação de maquiagem e processamento de imagens.
Simplificando, SHMT é uma tecnologia de transferência de maquiagem, desde que sejam usadas uma imagem de referência de maquiagem e uma foto do personagem alvo, o efeito de maquiagem pode ser transferido para o rosto alvo.
A equipe adotou uma abordagem de código aberto no projeto e lançou código de treinamento, código de teste e modelos de pré-treinamento, facilitando aos pesquisadores a realização de pesquisas e desenvolvimento relacionados.
Durante o processo de construção do modelo, a equipe recomenda que os usuários criem um ambiente conda denominado “ldm” e concluam rapidamente a configuração por meio do arquivo de ambiente fornecido. Além disso, o VQ-f4 foi selecionado como um modelo de codificação automática pré-treinado no estudo. Os usuários precisam baixá-lo e colocá-lo na pasta do ponto de verificação especificada para iniciar a inferência sem problemas.
A preparação dos dados é fundamental para o funcionamento bem-sucedido do modelo SHMT. A equipe de pesquisa recomenda baixar o conjunto de dados de transferência de maquiagem fornecido por “BeautyGAN” e integrar diferentes imagens de maquiagem e não maquiagem. Ao mesmo tempo, a preparação da análise facial e dos dados faciais 3D também é crucial, e as ferramentas e caminhos de dados relevantes são detalhados no estudo para garantir que os usuários possam preparar os dados de forma eficaz.
Em termos de treinamento e inferência de modelos, a equipe de pesquisa fornece scripts detalhados de linha de comando para que os usuários possam ajustar os parâmetros de acordo com suas próprias necessidades. A equipe também enfatizou particularmente a importância da estrutura de dados, fornecendo exemplos claros de estrutura de diretórios para orientar os usuários sobre como preparar os dados.
O lançamento do modelo SHMT marca a aplicação bem-sucedida do aprendizado auto-supervisionado na área de transferência de efeitos de maquiagem e pode ser amplamente utilizado em beleza, cosméticos, processamento de imagens e outras indústrias no futuro. Esta pesquisa não só demonstra o potencial da tecnologia, mas também estabelece uma base sólida para pesquisas aprofundadas em áreas relacionadas.
Entrada do projeto: https://github.com/Snowfallingplum/SHMT
Destaques:
1. O modelo SHMT usa o modelo de difusão latente para obter a transferência do efeito de maquiagem e foi aceito pelo NeurIPS2024.
2. A equipe fornece código-fonte aberto completo e modelos pré-treinados para facilitar a aplicação e o aprimoramento dos pesquisadores.
3. A preparação dos dados e o ajuste dos parâmetros são cruciais, e o estudo fornece orientações detalhadas sobre o processo operacional e a estrutura do diretório.
Em suma, o lançamento de código aberto do modelo SHMT fornece ferramentas e recursos poderosos para pesquisa de migração de efeitos de maquiagem, e vale a pena esperar suas perspectivas de aplicação nas áreas de beleza, cosméticos e processamento de imagens. A inovação e a praticidade desta pesquisa fazem dela um avanço importante no campo e estabelecem uma base sólida para futuras pesquisas relacionadas.