Os emoticons, desde imagens estáticas a vídeos dinâmicos, tornaram-se uma parte importante da cultura online. No entanto, não é fácil produzir vídeos emoticons de alta qualidade. Os métodos existentes apresentam problemas como baixa eficiência e baixa capacidade de generalização. Este artigo apresenta uma ferramenta chamada HelloMeme, que pode gerar vídeos emoticons vívidos, interessantes e de alta fidelidade de maneira fácil e eficiente, adicionando nova diversão à criação de vídeos curtos.
Caros “surfistas”, vocês ainda se lembram dos emoticons que seguíamos naquela época, desde “O velho no metrô olhando para o celular” até “A cabeça de panda do curador dourado”, eles não só nos faziam rir, mas também se tornaram? uma espécie de símbolo cultural único da Internet. Hoje em dia, os vídeos curtos são populares em todo o mundo, e os emoticons também estão “avançando com o tempo”, evoluindo de imagens estáticas para vídeos dinâmicos, que são uma loucura em todas as principais plataformas.
No entanto, não é fácil criar um vídeo emoticon de alta qualidade. Em primeiro lugar, os emoticons são caracterizados por expressões exageradas e grandes movimentos, o que representa um desafio considerável para a tecnologia de geração de vídeo. Em segundo lugar, muitos métodos existentes requerem a otimização dos parâmetros de todo o modelo, o que não só é demorado e trabalhoso, mas também pode levar a uma diminuição na capacidade de generalização do modelo, tornando difícil a sua compatibilidade com outros modelos derivados. . Pode-se dizer que “um fio de cabelo afeta todo o corpo”.
Então, existe uma maneira de criar facilmente vídeos emoticons que sejam ao mesmo tempo animados, interessantes e de alta fidelidade? A resposta é: claro!
HelloMeme é como uma ferramenta de “plug-in” para modelos grandes. Ele permite que o modelo aprenda a “nova habilidade” de fazer vídeos emoticons sem alterar o modelo original. Sua arma secreta é otimizar o mecanismo de atenção relacionado ao mapa de recursos bidimensional, melhorando assim o desempenho do adaptador. Simplificando, um par de “óculos transparentes” é colocado no modelo para que ele possa capturar com mais precisão os detalhes das expressões e movimentos.
O funcionamento do HelloMeme também é interessante. É composto por três parceiros: HMReferenceNet, HMControlNet e HMDenoisingNet.
HMReferenceNet é como um mestre que “leu inúmeras imagens” e pode extrair recursos de alta fidelidade de imagens de referência. É como fornecer ao modelo um "Guia de criação de pacotes de emojis" para que ele saiba que tipo de expressões são "simples" o suficiente.
HMControlNet é como um “mestre de captura de movimento” que pode extrair informações sobre postura da cabeça e expressão facial. Isto equivale a instalar um “sistema de captura de movimento” no modelo, permitindo capturar com precisão cada mudança sutil na expressão.
HMDenoisingNet é o “editor de vídeo”, responsável por integrar as informações fornecidas pelos dois amigos anteriores para gerar o vídeo emoticon final. É como um editor experiente que consegue combinar perfeitamente vários materiais para criar um vídeo que faz as pessoas rirem.
Para permitir que esses três amigos trabalhem melhor juntos, HelloMeme também usa uma magia chamada “mecanismo de atenção de tecelagem espacial”. Este mecanismo é como tricotar um suéter, entrelaçando diferentes informações de características, retendo assim as informações estruturais no mapa de características bidimensional. Desta forma, o modelo não precisa reaprender esses conhecimentos básicos e pode focar mais na “criação artística” da produção de emoticons.
O mais poderoso do HelloMeme é que ele retém completamente os parâmetros originais do modelo SD1.5UNet durante o processo de treinamento e otimiza apenas os parâmetros inseridos no adaptador. ** Isso é como dar um “remendo” ao modelo em vez de realizar uma “grande cirurgia” nele. ** A vantagem disso é que ele não apenas mantém as funções poderosas do modelo original, mas também oferece novos recursos. Pode-se dizer que mata dois coelhos com uma cajadada só.
HelloMeme obteve ótimos resultados na tarefa de gerar vídeos emoticons. Os vídeos gerados não só possuem expressões vívidas e movimentos suaves, mas também possuem alta definição de imagem, comparável aos níveis de produção profissional. Mais importante ainda, HelloMeme também tem boa compatibilidade com modelos derivados SD1.5, o que significa que podemos aproveitar outros modelos para melhorar ainda mais a qualidade dos vídeos emoticons.
Claro, HelloMeme ainda tem muito espaço para melhorias. Por exemplo, o vídeo gerado é ligeiramente inferior a alguns métodos baseados em GAN em termos de continuidade de quadro, e sua capacidade de expressão de estilo também precisa ser aprimorada. No entanto, a equipe de pesquisa do HelloMeme afirmou que continuará trabalhando duro para melhorar o modelo e torná-lo mais poderoso e mais “escultura de areia”.
Acredito que num futuro próximo, HelloMeme se tornará a melhor ferramenta para fazermos vídeos emoticons, permitindo-nos libertar a nossa imaginação de “escultura de areia” e usar emoticons para dominar a era dos vídeos curtos!
Endereço do projeto: https://songkey.github.io/hellomeme/
Resumindo, HelloMeme oferece uma solução eficiente e conveniente de geração de vídeo emoticon, e vale a pena esperar por sua tecnologia inovadora e excelentes efeitos. No futuro, com o avanço contínuo da tecnologia, acredito que o HelloMeme se tornará uma ferramenta indispensável na área de criação de emoticons, permitindo que mais pessoas criem facilmente trabalhos de vídeo maravilhosos.