NVIDIA は、魔法の杖のような驚くべき AI オーディオ モデル Fugatto をリリースし、ユーザーがテキストを通じてサウンドを制御できるようにしました。 Fugatto は単なるオーディオ ジェネレーターではなく、音楽、音声、さまざまなサウンドをミキシングし、複雑なテキスト命令を理解して、これまでにないオーディオの作成と操作を実現します。音楽制作から広告吹き替え、語学学習からゲーム開発まで幅広い用途が期待できるモデルで、効率と創造性を大幅に向上させます。強力な多言語および多アクセントの処理能力と、音の細部の正確な制御が、その画期的な技術力を証明しています。
SF 映画で、主人公が魔法の杖を振って音を自在に操るシーンをまだ覚えていますか? NVIDIA の最新 AI モデル Fugatto は、まさに「音の魔法の杖」です。を使用すると、ユーザーはテキストだけを使用して音楽、サウンド、音声を制御し、さまざまな素晴らしい聴覚効果を作成できます。
Fugatto の正式名称は「Foundational Generative Audio Transformer Opus1」で、ジェネレーティブ AI 技術に基づいたオーディオ処理モデルです。音楽を作成したり音声を変更したりすることしかできない他の AI モデルとは異なり、Fugatto は音楽、音声、サウンドのあらゆる混合物を生成または変換する強力な機能を備えており、ユーザーがテキスト ファイルや音声ファイルを通じて入力した指示を理解して実行することができます。
Fugatto の強力な機能は、音楽プロデューサー、広告代理店、語学学習ツール開発者、ゲーム開発者など、あらゆる分野のユーザーを驚かせてきました。 音楽プロデューサーはこれを使用して、さまざまな音楽スタイル、ボーカル、楽器をすばやく試したり、既存の曲にエフェクトを追加したり音質を改善したりすることもできます。 広告会社はこれを使用して、広告の吹き替えにさまざまなアクセントや感情を追加し、さまざまな地域やターゲット グループに広告を簡単に宣伝できます。 言語学習ツールの開発者は、Fugatto を使用して、コースのコンテンツを家族や友人の声など、ユーザーが望む任意の音声に変換して、学習をよりパーソナライズすることができます。 ゲーム開発者は、Fugatto を使用して、ゲームの進行状況に基づいてゲーム内のサウンド素材をリアルタイムで変更したり、テキスト コマンドやオーディオ入力に基づいて新しいゲーム サウンド エフェクトを作成したりできます。
Fugatto の魅力は、人間と同じように音を理解し、生成する能力です。 ユーザーの特定の指示を実行するだけでなく、これまでに聞いたことのない新しい音を生み出すこともできます。例えば、トランペットなら犬の鳴き声、サックスなら猫の鳴き声など、ユーザーが表現できればそれを作ることができます。
Fugatto のもう 1 つの画期的な機能は、トレーニング中に個別に学習した命令を組み合わせて、より複雑な効果を生み出す機能です。 たとえば、ユーザーは、悲しい感情を伴うフランス語なまりの音声を生成するように要求できます。 さらに驚くべきことに、「フガット」では、アクセントの太さや悲しみの強さなど、細かな指示の調整も可能で、アーティストのような創作が可能です。
Fugatto は、遠くから近づいてくる嵐や、徐々に遠くに消えていく前に激しさを増す雷など、時間の経過とともに変化するサウンドを生成することもできます。 ユーザーはサウンドの変化プロセスを正確に制御し、さまざまな鮮やかなサウンドエフェクトを作成できます。
Fugatto は、インド、ブラジル、中国、ヨルダン、韓国などの国のチームメンバーからなる世界中の研究者間の共同作業です。 彼らの多様な背景により、Fugatto はより優れた複数のアクセントと複数の言語の能力を得ることができます。
Fugatto の誕生は、音声モデリング、オーディオ コーディング、オーディオ理解の分野における NVIDIA の長年にわたる研究の集大成です。 これは 25 億のパラメーターを使用し、32 個の NVIDIA H100Tensor コア GPU を搭載した NVIDIA DGX システムのクラスターでトレーニングされます。
Fugatto の登場は、オーディオ処理テクノロジーの新時代を告げるものです。音楽、映画、ゲーム、教育など、さまざまな分野に無限の可能性をもたらします。さらなる素晴らしい聴覚の饗宴を楽しみにしていてください。
公式ブログ：https://blogs.nvidia.com/blog/fugatto-gen-ai-sound-model/
フガットの登場はテクノロジーの進歩だけでなく、クリエイティビティの無限の拡張でもあります。アーティストや開発者に前例のないクリエイティブなツールを提供し、将来のオーディオテクノロジーの無限の可能性を告げます。 Fugatto が私たちの聴覚の世界をどのように変えるのか、楽しみに待ちましょう。