Los investigadores de la Universidad de Stanford se han asociado con Apparate Labs para lanzar un modelo de IA revolucionario llamado PROTEUS. El modelo es capaz de generar personajes virtuales realistas y expresivos a partir de una sola foto y admite cantar y hablar en tiempo real. Su tecnología ha logrado avances en la transmisión de vídeo a alta velocidad de fotogramas y en la interacción multimodal. PROTEUS no es sólo un generador de personajes virtuales, es una plataforma altamente personalizable con una amplia gama de posibilidades de aplicación, que van desde asistentes virtuales personalizados hasta entretenimiento cinematográfico y televisivo. A continuación, comprenderemos en profundidad las características, la arquitectura técnica y los posibles escenarios de aplicación de PROTEUS.
Webmaster's Home (ChinaZ.com) Noticias del 14 de junio: Investigadores de la Universidad de Stanford y Apparate Labs lanzaron conjuntamente un modelo de inteligencia artificial llamado PROTEUS, que puede generar personajes virtuales realistas y expresivos a partir de una sola foto y lograr cantar y hablar en tiempo real.
Características principales:
Genera personajes realistas en tiempo real: PROTEUS puede generar efectos como reír, rapear, cantar, parpadear, sonreír, hablar, etc. a partir de una sola imagen, mostrando expresiones faciales y movimientos corporales complejos.
Transmisión de video de alta velocidad de fotogramas: admite transmisión de video de más de 100 FPS, lo que permite el procesamiento en tiempo real para garantizar una interacción fluida y natural.
Interacción multimodal: Compatible con múltiples formas de datos como voz, texto e imágenes, permite una interacción natural e intuitiva en diferentes escenarios.
Personalización y aplicación: diseño arquitectónico altamente personalizable, adecuado para múltiples campos y escenarios de aplicación para satisfacer las necesidades individuales.
Arquitectura técnica:
PROTEUS utiliza un modelo de difusión latente y una arquitectura Transformer avanzada para generar de manera eficiente imágenes complejas mediante el procesamiento de datos en el espacio latente.
La arquitectura y los algoritmos mejorados permiten velocidades de generación de más de 100 fotogramas por segundo.
Escenarios de aplicación:
Asistente virtual personalizado: Proporciona procesamiento de asuntos diarios, gestión de horarios, consulta de información y otros servicios.
Mascotas virtuales: crea mascotas virtuales con apariencia realista y ricas emociones.
Apoyo emocional: Generar personajes virtuales de apoyo emocional para brindar consuelo y apoyo psicológico.
Servicio al Cliente: Genere representantes virtuales de servicio al cliente para brindar atención al cliente inmediata y eficiente.
Educación y formación: Generar profesores o formadores virtuales para brindar educación y formación personalizada.
Personalización de personajes de videojuegos: proporciona a los desarrolladores de juegos personajes de juegos altamente personalizables.
Cine, televisión y entretenimiento: Se utiliza para generar actores y personajes virtuales realistas para reducir costos de producción.
Marketing y publicidad: Generar voceros virtuales para la promoción de productos y promoción de marcas.
Redes sociales y socialización virtual: generar imágenes virtuales en plataformas sociales para enriquecer la experiencia social.
La visión de PROTEUS es proporcionar una representación visual controlada por voz que sirva como una interfaz intuitiva para entidades conversacionales artificiales, permitiendo a los usuarios tener conversaciones e interacciones naturales con avatares. El suministro seguro y el acceso API temprano a esta tecnología estarán disponibles para desarrolladores seleccionados.
PROTEUS se ha utilizado en múltiples casos de aplicación en transmisiones en vivo de Twitch, demostrando su potencial de aplicación en escenarios interactivos en tiempo real. A través de API, PROTEUS se puede llamar y utilizar en cualquier aplicación, brindando experiencias innovadoras de interacción de personajes virtuales a diversas industrias.
Sitio web oficial: https://apparate.ai/stream.html
En definitiva, con sus poderosas capacidades de generación en tiempo real, interacción multimodal y amplias perspectivas de aplicación, se espera que el modelo PROTEUS AI desencadene una revolución en el campo de la interacción de personajes virtuales y brinde una nueva experiencia interactiva a los usuarios. Vale la pena esperar con ansias su desarrollo futuro.