シンガポールの南洋理工大学は、本物そっくりの 3D 仮想キャラクターを作成し、VR 環境でリアルタイムのインタラクションを実現できる驚くべき AI テクノロジーである SOLAMI を開発しました。このテクノロジーは、従来の AI キャラクターの厳格な制限を打ち破り、ユーザーの音声や動作の指示を理解できるだけでなく、自然でスムーズな会話、ダンス、さらにはボクシングで相互作用することもできます。これは、仮想現実、ソーシャル エンターテイメント、教育とトレーニングなどの分野における AI テクノロジーの大きな進歩を示し、将来のインタラクティブ エンターテイメントと学習方法に革命的な変化をもたらします。
シンガポールの南洋理工大学の研究チームは最近、SOLAMI と呼ばれる AI テクノロジーを発表しました。これは、VR 世界でリアルタイムに対話できるだけでなく、ユーザーの声や動きを理解して同行することができる鮮やかな 3D 仮想キャラクターを作成できます。チャットしたり、ダンスをしたり、ボクシングをしたりすることもできます。これは、ゲーム、バーチャル交流、シングルにとってはまさに祝福です。
SOLAMI は、ディープラーニング技術を使用してユーザーの音声と動作を仮想キャラクターが理解できる「言語」に変換し、対応する音声と動作の応答を生成する、エンドツーエンドのソーシャル ビジョン、言語、動作 (VLA) モデリング フレームワークです。 。人間の言語で話すということは、あなたの声や動きを AI が理解できる言語に翻訳し、それに応じて仮想キャラクターが本物の人間と同じように自然かつスムーズに反応することを意味し、これまでの堅固で機械的な感覚に別れを告げます。 AI キャラクター。
このAI「ソーシャルマスター」を育成するために、研究チームも多大な労力を費やした。
彼らは、大量のダイアログ、モーション、音声データを含む SynMSI と呼ばれる合成データセットを作成しました。これらのデータは何気なく収集されるものではなく、既存のアクション データベースと強力な言語モデルを使用した慎重な設計と処理を通じて生成されます。
さらに驚くべきことは、SOLAMI には VR インターフェースも搭載されており、仮想キャラクターと没入感を持って対話することができます。
VR デバイスを装着すると、まるで実際のソーシャル シーンにいるかのように、仮想キャラクターが目の前に立ってチャットしたり、アクションを実行したりするのが見えます。
研究チームは、SOLAMI テクノロジーの応用可能性は非常に幅広く、将来的にはゲーム、仮想ソーシャル ネットワーキング、教育やトレーニングなどの多くの分野を覆す可能性があると述べています。
たとえば、ゲーム内の NPC キャラクターはより知的になり、より現実の人間のように対話できるようになり、仮想ソーシャル プラットフォーム上の仮想アバターはよりパーソナライズされ、仮想世界で同じ考えを持つ友達を見つけることができます。先生は学習をより活発で興味深いものにしてくれるようです。
もちろん、SOLAMI はまだ研究段階にありますが、それが示す大きな可能性はすでにテクノロジー界を興奮させています。
研究チームは一連の実験を通じて、SOLAMIが動作品質、音声品質、応答速度の点で既存の方法よりも優れていることを証明した。 さらに重要なことに、ユーザーテストの結果では、SOLAMI が作成したバーチャルキャラクターに誰もが非常に満足していることがわかり、本当に「AI 妻/夫」の時代が到来しているようです。
SOLAMI テクノロジーの主要なハイライト:
エンドツーエンド VLA モデル: ユーザーの音声とアクションを仮想キャラクターの音声とアクションの応答に直接変換し、自然でスムーズなインタラクティブ エクスペリエンスを実現します。
SynMSI 合成データ セット: 既存のアクション データ セットと大規模な言語モデルを利用して、大量のマルチラウンド マルチモーダル対話データを自動的に生成し、トレーニング データの不足の問題を解決します。
没入型 VR インターフェイス: ユーザーは VR 機器を通じて仮想キャラクターと対面でコミュニケーションし、より現実的なインタラクティブな体験を体験できます。
よりスマートでより人間的: SOLAMI はよりスマートでよりリアルな仮想キャラクターを作成し、仮想インタラクティブ体験をより「人間的」なものにします。
研究チームは、SOLAMI技術の応用の可能性は非常に広く、ゲーム、仮想ソーシャルネットワーキング、教育や訓練など多くの分野で利用できると述べた。 たとえば、ゲームでは、SOLAMI はよりスマートで現実的な NPC キャラクターを作成して、プレイヤーのゲーム体験を向上させることができます。また、SOLAMI は、ユーザーがよりパーソナライズされたアバターを作成し、仮想ソーシャル インタラクションの没入感を高めるのに役立ちます。より鮮明な仮想教師を作成し、教育効果を向上させることができます。
研究チームは一連の実験も実施し、その結果、SOLAMI技術がアクションの品質、音声の品質、推論遅延の点で他の既存の手法よりも優れていることが示されました。 ユーザー調査によると、SOLAMI テクノロジーで構築された 3D 仮想キャラクターにユーザーが非常に満足していることがわかりました。
現在、SOLAMI テクノロジーはまだ研究段階にありますが、将来の発展の可能性は大きく、よりスマートで人間味のある仮想インタラクティブ体験をもたらすことが期待されています。
プロジェクトホームページ：https://solami-ai.github.io/
技術レポート: https://arxiv.org/abs/2412.00174
完全な紹介ビデオ: https://www.bilibili.com/video/BV1D6zpYHEyc/
全体として、SOLAMI テクノロジーは、仮想インタラクションの分野における AI の大きな可能性を示しており、その将来の応用の可能性は期待に値し、私たちが楽しみ、交流し、学習する方法を完全に変える可能性があります。 このテクノロジーが未来のデジタル世界をどのように形作るのか、楽しみに待ちましょう。