Исследователи Стэнфордского университета объединились с Apparate Labs, чтобы запустить революционную модель искусственного интеллекта под названием PROTEUS. Модель способна создавать реалистичных и выразительных виртуальных персонажей из одной фотографии, а также поддерживает пение и разговор в реальном времени. Ее технология достигла прорыва в потоковой передаче видео с высокой частотой кадров и мультимодальном взаимодействии. PROTEUS — это не просто генератор виртуальных персонажей, это легко настраиваемая платформа с широким спектром возможностей применения: от персонализированных виртуальных помощников до развлечений в кино и на телевидении. Далее мы получим более глубокое понимание характеристик, технической архитектуры и потенциальных сценариев применения PROTEUS.
Домашняя страница веб-мастеров (ChinaZ.com) Новости от 14 июня: Исследователи Стэнфордского университета и Apparate Labs совместно запустили модель искусственного интеллекта под названием PROTEUS, которая может создавать реалистичных и выразительных виртуальных персонажей из одной фотографии и обеспечивать пение и речь в реальном времени.
Основные особенности:
Создавайте реалистичных персонажей в реальном времени: PROTEUS может генерировать такие эффекты, как смех, постукивание, пение, моргание, улыбка, разговор и т. д. из одного изображения, демонстрируя сложные выражения лица и движения тела.
Потоковое видео с высокой частотой кадров: поддерживает потоковое видео со скоростью более 100 кадров в секунду, обеспечивая обработку в реальном времени для обеспечения плавного и естественного взаимодействия.
Мультимодальное взаимодействие: совместимое с различными формами данных, такими как голос, текст и изображения, оно обеспечивает естественное и интуитивное взаимодействие в различных сценариях.
Настройка и применение: архитектурный дизайн с широкими возможностями настройки, подходящий для различных областей и сценариев применения для удовлетворения индивидуальных потребностей.
Техническая архитектура:
PROTEUS использует модель скрытой диффузии и усовершенствованную архитектуру Transformer для эффективного создания сложных изображений путем обработки данных в скрытом пространстве.
Дальнейшее усовершенствование архитектуры и алгоритмов обеспечивает скорость генерации более 100 кадров в секунду.
Сценарии применения:
Персонализированный виртуальный помощник: обеспечивает обработку повседневных дел, управление расписанием, запрос информации и другие услуги.
Виртуальные питомцы: создавайте виртуальных питомцев с реалистичной внешностью и яркими эмоциями.
Эмоциональная поддержка: создавайте виртуальных персонажей эмоциональной поддержки, чтобы обеспечить психологический комфорт и поддержку.
Служба поддержки клиентов: создайте виртуальных представителей службы поддержки клиентов, чтобы обеспечить немедленную и эффективную поддержку клиентов.
Образование и обучение: создавайте виртуальных учителей или инструкторов для обеспечения персонализированного образования и обучения.
Настройка персонажей видеоигр: предоставляет разработчикам игр возможность настройки игровых персонажей с широкими возможностями настройки.
Кино, телевидение и развлечения: используется для создания реалистичных виртуальных актеров и персонажей для снижения производственных затрат.
Маркетинг и реклама: создайте виртуальных представителей для продвижения продукта и бренда.
Социальные сети и виртуальная социализация: создавайте виртуальные изображения на социальных платформах, чтобы обогатить социальный опыт.
Идея PROTEUS заключается в предоставлении визуального представления, управляемого голосом, которое служит интуитивно понятным интерфейсом для искусственных диалоговых объектов, позволяя пользователям вести естественные разговоры и взаимодействия с аватарами. Безопасное предоставление и ранний доступ через API к этой технологии будут доступны избранным разработчикам.
PROTEUS использовался во многих случаях применения в прямых трансляциях Twitch, демонстрируя потенциал своего применения в интерактивных сценариях в реальном времени. Через API PROTEUS можно вызывать и использовать в любом приложении, обеспечивая инновационный опыт взаимодействия с виртуальными персонажами в различных отраслях.
Официальный сайт: https://apparate.ai/stream.html.
В целом, ожидается, что модель PROTEUS AI с ее мощными возможностями генерации в реальном времени, мультимодальным взаимодействием и широкими перспективами применения совершит революцию в области взаимодействия виртуальных персонажей и принесет пользователям новый интерактивный опыт. Стоит с нетерпением ждать его дальнейшего развития.