スタンフォード大学の研究者は Apparate Labs と協力して、PROTEUS と呼ばれる革新的な AI モデルを立ち上げました。このモデルは、1 枚の写真からリアルで表現力豊かな仮想キャラクターを生成することができ、そのテクノロジーは高フレーム レートのビデオ ストリーミングとマルチモーダル インタラクションで画期的な進歩を遂げました。 PROTEUS は単なる仮想キャラクター ジェネレーターではなく、パーソナライズされた仮想アシスタントから映画やテレビのエンターテイメントに至るまで、幅広いアプリケーションの可能性を備えた高度にカスタマイズ可能なプラットフォームです。次に、PROTEUS の特性、技術アーキテクチャ、および潜在的なアプリケーション シナリオを深く理解します。
ウェブマスター ホーム (ChinaZ.com) 6 月 14 日のニュース: スタンフォード大学の研究者と Apparate Labs が共同で、1 枚の写真からリアルで表現力豊かな仮想キャラクターを生成し、リアルタイムで歌ったり話したりできる AI モデルを発表しました。
主な特徴:
リアルなキャラクターをリアルタイムで生成: PROTEUS は、単一の画像から笑い、ラップ、歌、まばたき、笑顔、会話などの効果を生成し、複雑な表情や体の動きを表示できます。
高フレーム レートのビデオ ストリーミング: 100 FPS 以上のビデオ ストリーミングをサポートし、リアルタイム処理を可能にしてスムーズで自然なインタラクションを保証します。
マルチモーダル インタラクション: 音声、テキスト、画像などの複数のデータ形式と互換性があり、さまざまなシナリオで自然かつ直感的なインタラクションが可能になります。
カスタマイズとアプリケーション: 高度にカスタマイズ可能なアーキテクチャ設計で、複数の分野やアプリケーション シナリオに適しており、個々のニーズを満たすことができます。
技術的なアーキテクチャ:
PROTEUS は、潜在拡散モデルと高度な Transformer アーキテクチャを使用して、潜在空間内のデータを処理することで複雑な画像を効率的に生成します。
さらに改良されたアーキテクチャとアルゴリズムにより、1 秒あたり 100 フレームを超える生成速度が可能になりました。
アプリケーションシナリオ:
パーソナライズされた仮想アシスタント: 日常業務処理、スケジュール管理、情報照会などのサービスを提供します。
バーチャル ペット: リアルな見た目と豊かな感情を持つバーチャル ペットを作成します。
感情的サポート: 感情的サポートの仮想キャラクターを生成して、心理的な快適さとサポートを提供します。
カスタマー サービス: 仮想カスタマー サービス担当者を生成し、即時かつ効率的なカスタマー サポートを提供します。
教育とトレーニング: 仮想教師またはトレーナーを生成して、パーソナライズされた教育とトレーニングを提供します。
ビデオ ゲーム キャラクターのカスタマイズ: ゲーム開発者に高度にカスタマイズ可能なゲーム キャラクターを提供します。
映画、テレビ、エンターテイメント: 制作コストを削減するために、現実的な仮想俳優やキャラクターを生成するために使用されます。
マーケティングと広告: 製品プロモーションとブランド プロモーションのための仮想スポークスマンを生成します。
ソーシャル メディアと仮想ソーシャル化: ソーシャル プラットフォーム上で仮想イメージを生成し、ソーシャル エクスペリエンスを豊かにします。
PROTEUS のビジョンは、人工会話エンティティの直感的なインターフェイスとして機能する音声制御の視覚表現を提供し、ユーザーが自然な会話やアバターとの対話を可能にすることです。選ばれた開発者は、このテクノロジーへの安全なプロビジョニングと早期 API アクセスを利用できるようになります。
PROTEUS は、Twitch ライブ ブロードキャストの複数のアプリケーション ケースで使用されており、リアルタイム インタラクティブ シナリオでのアプリケーションの可能性を実証しています。 API を通じて、PROTEUS を任意のアプリケーションで呼び出して使用することができ、革新的な仮想キャラクター インタラクション エクスペリエンスをさまざまな業界にもたらします。
公式サイト：https://apparate.ai/stream.html
全体的に見て、PROTEUS AI モデルは、強力なリアルタイム生成機能、マルチモーダル インタラクション、幅広い応用の可能性を備えており、仮想キャラクター インタラクションの分野に革命を起こし、ユーザーに新しいインタラクティブ エクスペリエンスをもたらすことが期待されています。今後の展開に注目です。