Adobe Research はノースウェスタン大学と協力して、Sketch2Sound と呼ばれる人工知能システムを開発しました。この AI ツールはサウンド デザインの分野に革命をもたらすと期待されています。これにより、ユーザーはハミング、声真似、または簡単なテキスト説明だけで本格的な効果音や環境音を作成できるため、サウンド設計プロセスが大幅に簡素化され、効率が向上します。 Sketch2Sound は、ユーザー入力の音量、音色、ピッチをテキストの説明と組み合わせて分析し、ユーザーが模倣した鳥のさえずりを識別し、それを「森の雰囲気」効果音に統合するなど、必要なサウンドをインテリジェントに生成します。
最近、Adobe Research はノースウェスタン大学と協力して、Sketch2Sound と呼ばれる人工知能システムを開発しました。このツールはサウンド デザイナーの作業方法を完全に変えることが期待されています。 Sketch2Sound を使用すると、ユーザーは鼻歌を歌ったり、音を模倣したり、簡単なテキスト説明を使用したりすることで、プロフェッショナルなサウンド効果や雰囲気を作成できます。
このシステムは、ユーザーの音声入力の 3 つの重要な要素、つまり音量、音色 (音の明るさまたは暗さを決定します)、およびピッチを分析します。次に、これらの機能をユーザーのテキストによる説明と組み合わせて、目的のサウンドを生成します。たとえば、ユーザーが「森の雰囲気」に入り、短い音を出すと、特別な指示がなくてもシステムが自動的にその音を鳥の鳴き声として認識します。
Sketch2Sound のもう 1 つの優れた点は、コンテキストを理解できることです。音楽を作るときに「バスドラム、スネアドラム」を入力してリズムをハミングすることができます。このシステムは、バスドラムを低音部に、スネアドラムを高音部にインテリジェントに配置します。このインテリジェントな処理により、サウンド設計プロセスが大幅に簡素化されます。
専門家のニーズを満たすために、研究チームは特別なフィルタリング技術も組み込み、ユーザーがニーズに応じて生成されるサウンドの精度を調整できるようにしました。サウンド デザイナーは、非常に正確な制御か、よりリラックスした近似的なアプローチのどちらかを選択できます。この柔軟性により、Sketch2Sound は特に Foley アーティストに人気があるのかもしれません。このツールを使用すると、映画やテレビ番組のサウンド エフェクトを作成する専門家は、物理的なオブジェクトを操作してサウンドを作成するのではなく、サウンドとテキストの説明を使用してエフェクトをより迅速に作成できます。
研究者らは、入力録音の空間オーディオ特性が結果として得られるサウンドに悪影響を与える可能性があると指摘していますが、この問題の解決に取り組んでいます。現時点では、Adobe は Sketch2Sound が商用製品として発売されるかどうか、またいつリリースされるかについては発表していません。
プロジェクト入口：https://hugofloresgarcia.art/sketch2sound/
ハイライト:
Sketch2Sound は、鼻歌やテキストの説明を通じて効果音を作成する、新しく開発された AI ツールです。
このシステムは、音量、音色、ピッチを分析し、ユーザーの音声入力とテキストを組み合わせて、目的の音響効果を生成します。
特にフォーリーアーティストに適しており、映画やテレビのサウンドエフェクトを素早く生成し、作業効率を向上させることができます。
全体として、Sketch2Sound は、そのインテリジェンスと利便性により、サウンド デザイナーやフォーリー アーティストの強力なアシスタントとなり、作業効率を大幅に向上させる可能性があります。まだ研究開発段階ではあるが、今後の発展が期待される。 興味のあるユーザーが詳細を確認できるように、プロジェクトのリンクが提供されています。