싱가포르 난양기술대학교(Nanyang Technological University)는 실물과 같은 3D 가상 캐릭터를 생성하고 VR 환경에서 실시간 상호 작용을 달성할 수 있는 놀라운 AI 기술인 SOLAMI를 개발했습니다. 이 기술은 기존 AI 캐릭터의 엄격한 한계를 뛰어넘는다. 가상 캐릭터는 사용자의 음성과 동작 지시를 이해할 수 있을 뿐만 아니라 자연스럽고 부드러운 대화, 댄스, 심지어 복싱까지 상호 작용할 수 있다. 이는 가상 현실, 소셜 엔터테인먼트, 교육 및 훈련과 같은 분야에서 AI 기술의 큰 도약을 의미하며 미래의 인터랙티브 엔터테인먼트 및 학습 방법에 혁신적인 변화를 가져옵니다.
싱가포르 난양공대 연구팀은 최근 VR 세계에서 실시간으로 사용자와 상호 작용할 수 있을 뿐만 아니라 사용자의 음성과 동행하는 움직임을 이해할 수 있는 생생한 3D 가상 캐릭터를 만들 수 있는 AI 기술인 SOLAMI를 공개했습니다. 채팅하고, 춤추고, 심지어는 박스까지! 이것은 게임, 가상 사교 활동, 싱글을 위한 축복입니다!
SOLAMI는 딥 러닝 기술을 사용하여 사용자의 음성과 행동을 가상 캐릭터가 이해할 수 있는 "언어"로 변환하고 해당 음성 및 행동 응답을 생성하는 엔드 투 엔드 소셜 비전-언어-행동(VLA) 모델링 프레임워크입니다. . 인간의 언어로 말한다는 것은 음성과 동작을 AI가 이해할 수 있는 언어로 번역한 다음 가상 캐릭터가 그에 따라 실제 사람처럼 자연스럽고 부드럽게 반응하도록 하여 이전의 경직되고 기계적인 느낌에 작별을 고한다는 의미입니다. AI 캐릭터.
이 AI '소셜 마스터'를 양성하기 위해 연구팀도 많은 노력을 기울였습니다.
그들은 방대한 양의 대화, 동작 및 음성 데이터가 포함된 SynMSI라는 합성 데이터 세트를 만들었습니다. 이러한 데이터는 우연히 수집되는 것이 아니라 기존 액션 데이터베이스와 강력한 언어 모델을 사용하여 신중한 설계와 처리를 통해 생성됩니다.
더욱 놀라운 점은 SOLAMI에는 VR 인터페이스도 탑재되어 있어 가상 캐릭터와 몰입감 있게 상호 작용할 수 있다는 것입니다.
VR기기를 착용하면 가상의 캐릭터가 눈앞에 서서 대화하고 액션을 취하는 모습을 볼 수 있어 마치 실제 소셜 현장에 있는 듯한 느낌을 받을 수 있다.
연구팀은 SOLAMI 기술의 응용 전망이 매우 광범위하며 향후 게임, 가상 소셜 네트워킹, 교육 및 훈련과 같은 많은 분야를 전복시킬 수 있다고 밝혔습니다.
예를 들어, 게임 속 NPC 캐릭터는 더욱 똑똑해지고 실제 사람처럼 상호 작용할 수 있습니다. 가상 소셜 플랫폼의 가상 아바타는 더욱 개인화될 수 있으므로 가상 세계에서 같은 생각을 가진 친구를 찾을 수도 있습니다. 선생님은 학습을 더욱 생생하고 흥미롭게 만드는 것 같습니다.
물론 SOLAMI는 아직 연구 단계에 있지만, 그것이 보여주는 엄청난 잠재력은 이미 기술계를 흥분시키고 있습니다.
연구팀은 일련의 실험을 통해 SOLAMI가 움직임 품질, 음성 품질, 응답 속도 측면에서 기존 방법보다 우수하다는 것을 입증했습니다. 더 중요한 것은 사용자 테스트 결과에 따르면 SOLAMI가 만든 가상 캐릭터에 모두가 매우 만족하고 있다는 것입니다. "AI 아내/남편"의 시대가 실제로 다가오는 것 같습니다!
SOLAMI 기술의 핵심 특징:
엔드투엔드 VLA 모델: 사용자의 음성과 동작을 가상 캐릭터의 음성과 동작 응답으로 직접 변환하여 자연스럽고 원활한 대화형 경험을 제공합니다.
SynMSI 합성 데이터 세트: 기존 동작 데이터 세트와 대규모 언어 모델을 활용하여 대량의 다중 라운드 다중 모드 대화 데이터를 자동으로 생성하여 훈련 데이터 부족 문제를 해결합니다.
몰입형 VR 인터페이스: 사용자는 VR 장비를 통해 가상 캐릭터와 직접 소통하고, 더욱 실감나는 인터랙티브 경험을 경험할 수 있습니다.
더 스마트하고 더 인간적: SOLAMI는 더 스마트하고 더 사실적인 가상 캐릭터를 만들어 가상 대화형 경험을 더 "인간적"으로 만들 수 있습니다.
연구팀은 SOLAMI 기술의 응용 전망이 매우 광범위하며 게임, 가상 소셜 네트워킹, 교육 및 훈련 등 다양한 분야에서 사용될 수 있다고 말했습니다. 예를 들어, 게임에서 SOLAMI는 더 똑똑하고 현실적인 NPC 캐릭터를 만들어 플레이어의 게임 경험을 향상시킬 수 있습니다. SOLAMI는 사용자가 더욱 개인화된 아바타를 만들고 가상 사회적 상호 작용의 몰입도를 높이도록 도울 수 있습니다. 더욱 생생한 가상교사를 생성하고 교육효과를 높일 수 있습니다.
연구팀은 또한 일련의 실험을 수행했으며 그 결과 SOLAMI 기술은 행동 품질, 음성 품질 및 추론 지연 측면에서 기존의 다른 방법보다 우수한 것으로 나타났습니다. 사용자 조사에 따르면 사용자는 SOLAMI 기술로 제작된 3D 가상 캐릭터에 매우 만족하고 있는 것으로 나타났습니다.
현재 SOLAMI 기술은 아직 연구 단계에 있지만 향후 개발 잠재력은 엄청나며 우리에게 더욱 스마트하고 인간적인 가상 인터랙티브 경험을 선사할 것으로 기대됩니다.
프로젝트 홈페이지: https://solami-ai.github.io/
기술 보고서: https://arxiv.org/abs/2412.00174
전체 소개 영상: https://www.bilibili.com/video/BV1D6zpYHEyc/
전체적으로 SOLAMI 기술은 가상 상호 작용 분야에서 AI의 엄청난 잠재력을 보여줍니다. 미래의 응용 전망은 기대할 가치가 있으며 우리가 즐겁게 지내고, 사교하고, 배우는 방식을 완전히 바꿀 수 있습니다. 이 기술이 미래의 디지털 세계를 어떻게 형성할지 지켜보겠습니다.