Pesquisadores da Universidade de Stanford se uniram ao Apparate Labs para lançar um modelo revolucionário de IA chamado PROTEUS. O modelo é capaz de gerar personagens virtuais realistas e expressivos a partir de uma única foto e suporta cantar e falar em tempo real. Sua tecnologia alcançou avanços em streaming de vídeo com alta taxa de quadros e interação multimodal. PROTEUS não é apenas um gerador de personagens virtuais, é uma plataforma altamente personalizável com uma ampla gama de possibilidades de aplicação, desde assistentes virtuais personalizados até entretenimento de cinema e televisão. A seguir, teremos um entendimento aprofundado das características, arquitetura técnica e potenciais cenários de aplicação do PROTEUS.
Página inicial do webmaster (ChinaZ.com) Notícias de 14 de junho: Pesquisadores da Universidade de Stanford e Apparate Labs lançaram em conjunto um modelo de IA chamado PROTEUS, que pode gerar personagens virtuais realistas e expressivos a partir de uma única foto e conseguir cantar e falar em tempo real.
Principais características:
Gere personagens realistas em tempo real: PROTEUS pode gerar efeitos como rir, fazer rap, cantar, piscar, sorrir, falar, etc. a partir de uma única imagem, mostrando expressões faciais e movimentos corporais complexos.
Streaming de vídeo com alta taxa de quadros: suporta streaming de vídeo com mais de 100 FPS, permitindo processamento em tempo real para garantir interação suave e natural.
Interação multimodal: Compatível com múltiplas formas de dados como voz, texto e imagens, permite interação natural e intuitiva em diferentes cenários.
Personalização e aplicação: Projeto arquitetônico altamente personalizável, adequado para vários campos e cenários de aplicação para atender às necessidades individuais.
Arquitetura técnica:
PROTEUS usa um modelo de difusão latente e uma arquitetura Transformer avançada para gerar imagens complexas com eficiência, processando dados no espaço latente.
Arquitetura e algoritmos aprimorados permitem velocidades de geração de mais de 100 quadros por segundo.
Cenários de aplicação:
Assistente virtual personalizado: Fornece processamento de assuntos diários, gerenciamento de agenda, consulta de informações e outros serviços.
Animais de estimação virtuais: crie animais de estimação virtuais com aparência realista e emoções ricas.
Apoio emocional: Gere personagens virtuais de apoio emocional para proporcionar conforto e apoio psicológico.
Atendimento ao cliente: gere representantes virtuais de atendimento ao cliente para fornecer suporte imediato e eficiente ao cliente.
Educação e treinamento: Gere professores ou instrutores virtuais para fornecer educação e treinamento personalizados.
Personalização de personagens de videogame: fornece aos desenvolvedores de jogos personagens de jogos altamente personalizáveis.
Cinema, televisão e entretenimento: Usado para gerar atores e personagens virtuais realistas para reduzir custos de produção.
Marketing e publicidade: Gere porta-vozes virtuais para promoção de produtos e promoção de marca.
Mídias sociais e socialização virtual: Gere imagens virtuais em plataformas sociais para enriquecer a experiência social.
A visão do PROTEUS é fornecer uma representação visual controlada por voz que sirva como uma interface intuitiva para entidades conversacionais artificiais, permitindo aos usuários ter conversas e interações naturais com avatares. O fornecimento seguro e o acesso antecipado à API desta tecnologia estarão disponíveis para desenvolvedores selecionados.
PROTEUS tem sido utilizado em diversos casos de aplicação em transmissões ao vivo do Twitch, demonstrando seu potencial de aplicação em cenários interativos em tempo real. Através da API, o PROTEUS pode ser chamado e utilizado em qualquer aplicação, trazendo experiências inovadoras de interação com personagens virtuais para diversos setores.
Site oficial: https://apparate.ai/stream.html
Em suma, com as suas poderosas capacidades de geração em tempo real, interacção multimodal e amplas perspectivas de aplicação, espera-se que o modelo PROTEUS AI desencadeie uma revolução no campo da interacção de personagens virtuais e traga uma nova experiência interactiva aos utilizadores. Vale a pena esperar pelo seu desenvolvimento futuro.