L'éditeur de Downcodes a appris qu'un projet open source appelé Ultralight-Digital-Human suscite de vives discussions sur GitHub ! Ce projet a réalisé une percée dans la résolution du problème du déploiement de la technologie humaine numérique sur le terminal mobile, permettant aux smartphones ordinaires d'exécuter des applications humaines numériques en douceur, abaissant considérablement le seuil d'application de la technologie humaine numérique et offrant des opportunités sans précédent pour sa vulgarisation. Cela aura un impact profond sur le développement d’applications mobiles, ainsi que sur l’AR/VR et d’autres domaines.
Récemment, un projet open source appelé Ultralight-Digital-Human a attiré l'attention de la communauté des développeurs. Ce projet a résolu avec succès le problème du déploiement de la technologie humaine numérique sur le terminal mobile, permettant aux smartphones ordinaires d'exécuter des applications humaines numériques en temps réel, ouvrant ainsi de nouvelles possibilités à la vulgarisation des technologies associées.
Ce modèle humain numérique ultra-léger utilise une technologie innovante d'apprentissage en profondeur et, grâce à l'optimisation des algorithmes et à la compression du modèle, il a réussi à alléger l'énorme système humain numérique au point où il peut fonctionner sans problème sur les appareils mobiles. Le système prend en charge le traitement en temps réel des entrées vidéo et audio et peut synthétiser rapidement des images humaines numériques avec une réponse rapide et un fonctionnement fluide.
En termes de mise en œuvre technique, le projet intègre deux solutions d'extraction de fonctionnalités audio, Wenet et Hubert, et les développeurs peuvent choisir de manière flexible en fonction de scénarios d'application spécifiques. Dans le même temps, grâce à l'introduction de la technologie de réseau de synchronisation (syncnet), l'effet de synchronisation labiale des humains numériques est considérablement amélioré. Afin de garantir un fonctionnement fluide sur les appareils mobiles, l'équipe de développement a adopté une technologie d'élagage des paramètres pendant le processus de formation et de déploiement, ce qui a effectivement réduit les besoins en ressources informatiques.
Un autre point fort du projet est la documentation complète du processus de formation. Les développeurs n'ont qu'à préparer 3 à 5 minutes de vidéos de visage de haute qualité et à suivre les directives pour commencer à former leurs propres modèles humains numériques. Les exigences vidéo du système sont également très claires. Le mode Wenet nécessite une fréquence d'images de 20 ips, tandis que le mode Hubert nécessite 25 ips.
Afin de garantir l'effet de la formation, l'équipe du projet rappelle spécifiquement aux développeurs de prêter attention aux liens clés suivants : les modèles de pré-formation préférés comme base ; en temps opportun. Ces détails affecteront directement l’effet humain numérique final.
Actuellement, ce projet open source a montré un grand potentiel dans des domaines tels que les applications sociales, les jeux mobiles et la réalité virtuelle. Par rapport à la technologie humaine numérique traditionnelle, elle abaisse non seulement le seuil matériel, mais assure également une compatibilité multiplateforme et peut fonctionner de manière stable sur tous les types de smartphones.
Adresse du projet : https://github.com/anliyuan/Ultralight-Digital-Human
Le projet Ultralight-Digital-Human constitue sans aucun doute une étape importante dans le développement de la technologie humaine numérique, et sa nature open source offre également à davantage de développeurs des opportunités d'apprendre et d'innover. Je pense qu’il y aura plus d’applications innovantes basées sur ce projet à l’avenir, attendons de voir !