스탠포드 대학 연구진은 Apparate Labs와 협력하여 PROTEUS라는 혁신적인 AI 모델을 출시했습니다. 이 모델은 단일 사진에서 사실적이고 표현력이 풍부한 가상 캐릭터를 생성할 수 있으며 실시간으로 노래하고 대화하는 것을 지원합니다. 해당 기술은 높은 프레임 속도의 비디오 스트리밍 및 다중 모드 상호 작용 분야에서 획기적인 발전을 이루었습니다. PROTEUS는 단순한 가상 캐릭터 생성기가 아니라 개인화된 가상 비서부터 영화 및 TV 엔터테인먼트에 이르기까지 광범위한 응용 가능성을 갖춘 고도로 사용자 정의 가능한 플랫폼입니다. 다음으로 PROTEUS의 특성, 기술 아키텍처 및 잠재적 응용 시나리오에 대해 심층적으로 이해합니다.
Webmaster's Home(ChinaZ.com) 6월 14일 뉴스: 스탠포드 대학 연구원과 Apparate Labs는 단일 사진에서 현실적이고 표현력이 풍부한 가상 캐릭터를 생성하고 실시간으로 노래하고 말할 수 있는 PROTEUS라는 AI 모델을 공동 출시했습니다.
주요 특징:
실시간으로 사실적인 캐릭터 생성: PROTEUS는 복잡한 얼굴 표정과 신체 움직임을 보여주는 단일 이미지에서 웃음, 랩, 노래, 깜박임, 미소, 말하기 등의 효과를 생성할 수 있습니다.
높은 프레임 속도 비디오 스트리밍: 100FPS 이상의 비디오 스트리밍을 지원하여 실시간 처리를 통해 부드럽고 자연스러운 상호 작용을 보장합니다.
다중 모드 상호 작용: 음성, 텍스트, 이미지 등 다양한 데이터 형식과 호환되므로 다양한 시나리오에서 자연스럽고 직관적인 상호 작용이 가능합니다.
사용자 정의 및 적용: 개별 요구 사항을 충족하기 위해 여러 분야 및 응용 시나리오에 적합한 고도로 사용자 정의 가능한 아키텍처 설계입니다.
기술 아키텍처:
PROTEUS는 잠재 공간에서 데이터를 처리하여 복잡한 이미지를 효율적으로 생성하기 위해 잠재 확산 모델과 고급 Transformer 아키텍처를 사용합니다.
더욱 향상된 아키텍처와 알고리즘을 통해 초당 100프레임 이상의 생성 속도가 가능해졌습니다.
애플리케이션 시나리오:
개인화된 가상 비서: 일상 업무 처리, 일정 관리, 정보 조회 등의 서비스를 제공합니다.
가상 애완동물: 현실적인 외모와 풍부한 감정을 지닌 가상 애완동물을 만들어보세요.
정서적 지원: 심리적 위안과 지지를 제공하기 위해 정서적 지원 가상 캐릭터를 생성합니다.
고객 서비스: 즉각적이고 효율적인 고객 지원을 제공하기 위해 가상 고객 서비스 담당자를 생성합니다.
교육 및 훈련: 가상 교사 또는 트레이너를 생성하여 맞춤형 교육 및 훈련을 제공합니다.
비디오 게임 캐릭터 사용자 정의: 게임 개발자에게 고도로 사용자 정의 가능한 게임 캐릭터를 제공합니다.
영화, TV 및 엔터테인먼트: 제작 비용을 줄이기 위해 사실적인 가상 배우와 캐릭터를 생성하는 데 사용됩니다.
마케팅 및 광고: 제품 홍보 및 브랜드 홍보를 위한 가상 대변인을 생성합니다.
소셜 미디어 및 가상 사회화: 소셜 플랫폼에서 가상 이미지를 생성하여 소셜 경험을 풍부하게 합니다.
PROTEUS의 비전은 인공 대화 개체에 대한 직관적인 인터페이스 역할을 하는 음성 제어 시각적 표현을 제공하여 사용자가 아바타와 자연스러운 대화 및 상호 작용을 할 수 있도록 하는 것입니다. 선택된 개발자는 이 기술에 대한 안전한 제공 및 조기 API 액세스를 사용할 수 있습니다.
PROTEUS는 Twitch 라이브 방송의 여러 적용 사례에 사용되어 실시간 대화형 시나리오에서 적용 가능성을 입증했습니다. API를 통해 PROTEUS는 모든 애플리케이션에서 호출되고 사용될 수 있어 다양한 산업에 혁신적인 가상 캐릭터 상호 작용 경험을 제공합니다.
공식 홈페이지: https://apparate.ai/stream.html
전체적으로 강력한 실시간 생성 기능, 다중 모드 상호 작용 및 광범위한 응용 가능성을 갖춘 PROTEUS AI 모델은 가상 캐릭터 상호 작용 분야에 혁명을 일으키고 사용자에게 새로운 상호 작용 경험을 제공할 것으로 예상됩니다. 앞으로의 전개도 기대해볼 만하다.