O editor do Downcodes soube que um projeto de código aberto chamado Ultralight-Digital-Human está causando discussões acaloradas no GitHub! Este projecto fez um avanço na resolução do problema da implantação da tecnologia humana digital no terminal móvel, permitindo que smartphones comuns executem aplicações humanas digitais sem problemas, reduzindo significativamente o limiar de aplicação da tecnologia humana digital e trazendo oportunidades sem precedentes para a sua popularização. Isto terá um impacto profundo no desenvolvimento de aplicações móveis, bem como em AR/VR e outros campos.
Recentemente, um projeto de código aberto chamado Ultralight-Digital-Human atraiu ampla atenção na comunidade de desenvolvedores. Este projeto resolveu com sucesso o problema de implantação de tecnologia humana digital no terminal móvel, permitindo que smartphones comuns executem aplicações humanas digitais em tempo real, trazendo novas possibilidades para a popularização de tecnologias relacionadas.
Este modelo humano digital ultraleve utiliza tecnologia inovadora de aprendizagem profunda e, através da otimização de algoritmos e compressão de modelo, reduziu com sucesso o enorme sistema humano digital ao ponto em que pode funcionar sem problemas em dispositivos móveis. O sistema suporta processamento em tempo real de entradas de vídeo e áudio e pode sintetizar rapidamente imagens humanas digitais com resposta rápida e operação suave.
Em termos de implementação técnica, o projeto integra duas soluções de extração de recursos de áudio, Wenet e Hubert, e os desenvolvedores podem escolher com flexibilidade de acordo com cenários de aplicação específicos. Ao mesmo tempo, através da introdução da tecnologia de rede de sincronização (syncnet), o efeito de sincronização labial dos humanos digitais é significativamente melhorado. Para garantir o bom funcionamento em dispositivos móveis, a equipe de desenvolvimento adotou a tecnologia de poda de parâmetros durante o processo de treinamento e implantação, o que reduziu efetivamente os requisitos de recursos computacionais.
Outro destaque do projeto é a documentação completa do processo de treinamento. Os desenvolvedores só precisam preparar de 3 a 5 minutos de vídeos faciais de alta qualidade e seguir as diretrizes para começar a treinar seus próprios modelos humanos digitais. Os requisitos de vídeo do sistema também são muito claros. O modo Wenet requer uma taxa de quadros de 20fps, enquanto o modo Hubert requer 25fps.
A fim de garantir o efeito de treinamento, a equipe do projeto lembra especificamente aos desenvolvedores que prestem atenção aos seguintes links principais: modelos de pré-treinamento preferidos como base para garantir a qualidade dos dados de treinamento; em tempo hábil. Esses detalhes afetarão diretamente o efeito humano digital final.
Atualmente, este projeto de código aberto tem demonstrado grande potencial em áreas como aplicações sociais, jogos móveis e realidade virtual. Em comparação com a tecnologia humana digital tradicional, ela não apenas reduz o limite de hardware, mas também alcança compatibilidade entre plataformas e pode funcionar de forma estável em todos os tipos de smartphones.
Endereço do projeto: https://github.com/anliyuan/Ultralight-Digital-Human
O projeto Ultralight-Digital-Human é sem dúvida um marco no desenvolvimento da tecnologia humana digital, e sua natureza de código aberto também oferece a mais desenvolvedores oportunidades de aprender e inovar. Acredito que no futuro haverá mais aplicações inovadoras baseadas neste projeto, vamos esperar para ver!