史丹佛大學研究人員與Apparate Labs合作推出了一個名為PROTEUS的革命性AI模型。該模型能夠透過單張照片生成逼真、富有表現力的虛擬人物，並支援即時唱歌和說話，其技術突破性地實現了高幀率視訊串流和多模態互動。 PROTEUS不僅僅是一個虛擬人物生成器，它更是一個高度可自訂的平台，擁有廣泛的應用前景，從個人化虛擬助理到影視娛樂，都能找到它的身影。接下來，我們將深入了解PROTEUS的特點、技術架構以及潛在的應用場景。
站長之家(ChinaZ.com) 6月14日訊息:史丹佛大學研究人員與Apparate Labs聯合推出了一款名為PROTEUS的AI模型，它能夠透過單張照片產生逼真、具有表現力的虛擬人物，並實現即時的唱歌和說話。
主要特點:
即時生成逼真人物:PROTEUS能從單一影像生成笑、饒舌、唱歌、眨眼、微笑、說話等效果，展現複雜的臉部表情和身體動作。
高幀率視訊串流:支援100+ FPS的視訊串流，實現即時處理，確保互動的流暢性與自然性。
多模態互動:相容於語音、文字和圖像等多種資料形式，能在不同場景中進行自然和直覺的互動。
自訂和應用:高度可自訂的架構設計，適用於多個領域和應用場景，滿足個人化需求。
技術架構:
PROTEUS採用了潛在擴散模型和先進的Transformer架構，透過在潛在空間中進行資料處理，高效產生複雜影像。
進一步改進的架構和演算法實現了每秒超過100幀的生成速度。
應用場景:
個人化虛擬助理:提供日常事務處理、行程管理、資訊查詢等服務。
虛擬寵物:創造具有逼真外觀和豐富情感的虛擬寵物。
情緒支持:生成情緒支持型虛擬人物，提供心理安慰與支持。
客戶服務:產生虛擬客服代表，提供即時高效的客戶支援。
教育和培訓:生成虛擬教師或培訓師，提供個人化教育和培訓。
電玩角色自訂:為遊戲開發者提供高度可自訂的遊戲角色。
影視與娛樂:用於產生逼真的虛擬演員和角色，降低製作成本。
行銷和廣告:產生虛擬代言人，進行產品推廣和品牌宣傳。
社群媒體與虛擬社群:在社群平台上產生虛擬形象，豐富社群體驗。
PROTEUS的願景是提供一個可透過語音控制的視覺化體現，作為人工對話實體的直覺接口，使用戶能夠與虛擬形象進行自然的對話和互動。這項技術的安全提供和早期API存取權將向選定的開發者開放。
PROTEUS在Twitch直播中已有多個應用案例，展現了其在即時互動場景中的應用潛力。透過API，PROTEUS可以在任何應用中呼叫使用，為各行業帶來創新的虛擬人物互動體驗。
官網：https://apparate.ai/stream.html
總而言之，PROTEUS AI模型憑藉其強大的即時生成能力、多模態互動以及廣泛的應用前景，有望在虛擬人物互動領域掀起一場革命，為用戶帶來全新的互動體驗。其未來發展值得期待。