Des chercheurs de l'Université de Stanford se sont associés à Apparate Labs pour lancer un modèle d'IA révolutionnaire appelé PROTEUS. Le modèle est capable de générer des personnages virtuels réalistes et expressifs à partir d'une seule photo, et prend en charge le chant et la parole en temps réel. Sa technologie a réalisé des percées dans le streaming vidéo à haute fréquence d'images et l'interaction multimodale. PROTEUS n'est pas seulement un générateur de personnages virtuels, c'est une plateforme hautement personnalisable avec un large éventail de perspectives d'application, allant des assistants virtuels personnalisés au divertissement cinématographique et télévisuel. Ensuite, nous aurons une compréhension approfondie des caractéristiques, de l'architecture technique et des scénarios d'application potentiels de PROTEUS.
Webmaster's Home (ChinaZ.com) Nouvelles du 14 juin : Des chercheurs de l'Université de Stanford et Apparate Labs ont lancé conjointement un modèle d'IA appelé PROTEUS, qui peut générer des personnages virtuels réalistes et expressifs à partir d'une seule photo et permettre de chanter et de parler en temps réel.
Principales caractéristiques :
Générez des personnages réalistes en temps réel : PROTEUS peut générer des effets de rire, de rap, de chant, de clignement des yeux, de sourire, de conversation et d'autres effets à partir d'une seule image, montrant des expressions faciales et des mouvements corporels complexes.
Streaming vidéo à fréquence d'images élevée : prend en charge le streaming vidéo de plus de 100 FPS, permettant un traitement en temps réel pour garantir une interaction fluide et naturelle.
Interaction multimodale : compatible avec plusieurs formes de données telles que la voix, le texte et les images, elle permet une interaction naturelle et intuitive dans différents scénarios.
Personnalisation et application : conception architecturale hautement personnalisable, adaptée à plusieurs domaines et scénarios d’application pour répondre aux besoins individuels.
Architecture technique :
PROTEUS utilise un modèle de diffusion latente et une architecture Transformer avancée pour générer efficacement des images complexes en traitant les données dans l'espace latent.
Une architecture et des algorithmes encore améliorés permettent des vitesses de génération supérieures à 100 images par seconde.
Scénarios d'application :
Assistant virtuel personnalisé : fournit le traitement des affaires quotidiennes, la gestion des horaires, la requête d'informations et d'autres services.
Animaux virtuels : créez des animaux virtuels avec des looks réalistes et des émotions riches.
Soutien émotionnel : générez des personnages virtuels de soutien émotionnel pour apporter un confort et un soutien psychologiques.
Service client : générez des représentants du service client virtuel pour fournir un support client immédiat et efficace.
Éducation et formation : générez des enseignants ou des formateurs virtuels pour offrir une éducation et une formation personnalisées.
Personnalisation des personnages de jeux vidéo : fournit aux développeurs de jeux des personnages de jeu hautement personnalisables.
Film, télévision et divertissement : utilisés pour générer des acteurs et des personnages virtuels réalistes afin de réduire les coûts de production.
Marketing et publicité : générez des porte-parole virtuels pour la promotion des produits et la promotion de la marque.
Médias sociaux et socialisation virtuelle : générez des images virtuelles sur les plateformes sociales pour enrichir l'expérience sociale.
La vision de PROTEUS est de fournir une représentation visuelle à commande vocale qui sert d'interface intuitive pour les entités conversationnelles artificielles, permettant aux utilisateurs d'avoir des conversations et des interactions naturelles avec des avatars. Une fourniture sécurisée et un accès anticipé aux API à cette technologie seront disponibles pour les développeurs sélectionnés.
PROTEUS a été utilisé dans plusieurs cas d'application lors de diffusions en direct sur Twitch, démontrant son potentiel d'application dans des scénarios interactifs en temps réel. Grâce à l'API, PROTEUS peut être appelé et utilisé dans n'importe quelle application, apportant des expériences innovantes d'interaction avec des personnages virtuels à diverses industries.
Site officiel : https://apparate.ai/stream.html
Dans l’ensemble, avec ses puissantes capacités de génération en temps réel, son interaction multimodale et ses vastes perspectives d’application, le modèle PROTEUS AI devrait déclencher une révolution dans le domaine de l’interaction des personnages virtuels et apporter une nouvelle expérience interactive aux utilisateurs. Son développement futur mérite d’être attendu.