¡El editor de Downcodes se enteró de que un proyecto de código abierto llamado Ultralight-Digital-Human está provocando acaloradas discusiones en GitHub! Este proyecto ha logrado un gran avance en la solución del problema de la implementación de tecnología humana digital en terminales móviles, permitiendo que los teléfonos inteligentes comunes ejecuten aplicaciones humanas digitales sin problemas, reduciendo en gran medida el umbral de aplicación de la tecnología humana digital y brindando oportunidades sin precedentes para su popularización. Esto tendrá un profundo impacto en el desarrollo de aplicaciones móviles, así como en AR/VR y otros campos.
Recientemente, un proyecto de código abierto llamado Ultralight-Digital-Human ha atraído una gran atención en la comunidad de desarrolladores. Este proyecto resolvió con éxito el problema de implementar tecnología humana digital en terminales móviles, permitiendo que los teléfonos inteligentes comunes ejecuten aplicaciones humanas digitales en tiempo real, brindando nuevas posibilidades para la popularización de tecnologías relacionadas.
Este modelo humano digital ultraligero utiliza una innovadora tecnología de aprendizaje profundo y, mediante la optimización de algoritmos y la compresión del modelo, ha reducido con éxito el enorme sistema humano digital hasta el punto de que puede funcionar sin problemas en dispositivos móviles. El sistema admite el procesamiento en tiempo real de entradas de video y audio y puede sintetizar rápidamente imágenes humanas digitales con una respuesta rápida y un funcionamiento fluido.
En términos de implementación técnica, el proyecto integra dos soluciones de extracción de funciones de audio, Wenet y Hubert, y los desarrolladores pueden elegir de manera flexible según escenarios de aplicación específicos. Al mismo tiempo, mediante la introducción de la tecnología de red de sincronización (syncnet), el efecto de sincronización de labios de los humanos digitales mejora significativamente. Para garantizar un funcionamiento fluido en dispositivos móviles, el equipo de desarrollo adoptó tecnología de reducción de parámetros durante el proceso de capacitación e implementación, lo que redujo efectivamente los requisitos de recursos informáticos.
Otro punto destacado del proyecto es la documentación completa del proceso de formación. Los desarrolladores sólo necesitan preparar de 3 a 5 minutos de videos faciales de alta calidad y seguir las pautas para comenzar a entrenar sus propios modelos humanos digitales. Los requisitos de vídeo del sistema también son muy claros. El modo Wenet requiere una velocidad de fotogramas de 20 fps, mientras que el modo Hubert requiere 25 fps.
Para garantizar el efecto de la capacitación, el equipo del proyecto recuerda específicamente a los desarrolladores que presten atención a los siguientes enlaces clave: modelos de preformación preferidos como base; garantizar la calidad de los datos de capacitación, monitorear periódicamente el proceso de capacitación; de manera oportuna. Estos detalles afectarán directamente al efecto humano digital final.
Actualmente, este proyecto de código abierto ha mostrado un gran potencial en áreas como aplicaciones sociales, juegos móviles y realidad virtual. En comparación con la tecnología humana digital tradicional, no solo reduce el umbral de hardware, sino que también logra compatibilidad multiplataforma y puede funcionar de manera estable en todo tipo de teléfonos inteligentes.
Dirección del proyecto: https://github.com/anliyuan/Ultralight-Digital-Human
El proyecto Ultralight-Digital-Human es sin duda un hito en el desarrollo de la tecnología humana digital, y su naturaleza de código abierto también brinda a más desarrolladores oportunidades para aprender e innovar. Creo que habrá más aplicaciones innovadoras basadas en este proyecto en el futuro, ¡esperemos y veremos!