ミュージックエージェント

その他のソースコード

v1.2.0

ダウンロード

MusicAgent ユーザーマニュアル

音楽代理店

導入

ミュージックエージェントのロゴ

MusicAgent は、Sonic Pi で曲をプログラムする MAS (マルチエージェントシステム) です。生成 AI を使用して、ユーザーの好みに基づいて曲の構成、編曲、歌詞などを生成します。このマニュアルには、インストール、設定、およびソングの生成に関する手順が記載されています。まだ歌声は生成されていません (サンプルを使用して歌声を含めることができます。楽器バージョンのみが含まれます)。

建築家の概要

どのように機能するのでしょうか?

Music Agent の動作を視聴する

私たちはさまざまなアシスタントを定義し、曲の作曲と執筆の段階を通じてそれぞれ異なる役割を果たしました。は、ユーザーの最初の入力から始めて、さまざまなステップを処理します。

さまざまなアシスタントの役割: さまざまな役割が ArtistConfig.json で定義されています

アーティスト
作曲家
ソングライター
アレンジャー
ソニックPIコーダー
Sonic PI レビュアー
Sonic PI ミックスエンジニア
マスターエンジニア
音楽出版社

音楽エージェントの流れ

すべての役割は、曲を作曲するさまざまな段階で参加します。

チェーン内のシーケンスの構成は、MusicCreationChainConfig.json にあります。
各フェーズの設定と説明は MusicCreationPhaseConfig.json で設定します。

1. 設計段階

設計段階

2. 作成フェーズ

Sonic pi スクリプトの実際の作成、最初の再生、エージェントまたは人間によるレビューの反復とそれに続くコードの書き換え。

作成段階

3. マスタリングフェーズ

マスター段階

4. 公開フェーズ

アーティストの構成に応じて、sonic pi スクリプトファイルの生成、アルバムカバー、ブックレット、およびオプションの曲の録音が含まれます。

出版段階

最終的な出力は、アルバムカバー付きの小冊子 (選択した構成に応じて録音も可能)、そしてもちろん、*.rb ファイル内のコード化されたソングトラックです。

音楽エージェントの使用

前提条件

Sonic Pi:システムにインストールする必要があります (*.rb ファイルの実行に必要): https://sonic-pi.net/
Python がマシンにインストールされている必要があります

モデルAPI

音楽エージェントは、OpenAI および Anthropic API と同様に機能します (Anthropic は現在、画像生成を提供していないため、アルバムカバーは生成されません)。両方を切り替えるには、必ず両方の変数を構成ファイルまたは環境変数に設定してください。

OPENAI_API_KEY:システム環境変数として、またはArtistConfig/mITyJohn/ArtistConfig.jsonで設定します。
MAC の場合:
```
 export OPENAI_API_KEY= '  '
```
Windows の場合 (PowerShell を使用):
```
 $env :OPENAI_API_KEY= '  '
```
ANTHROPIC_API_KEY:システム環境変数として、またはArtistConfig/mITyJohn/ArtistConfig.jsonで設定します。
MAC の場合:
```
 export ANTHROPIC_API_KEY= '  '
```
Windows の場合 (PowerShell を使用):
```
 $env :ANTHROPIC_API_KEY= '  '
```

インストール

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

人間的な依存関係があるため、RUST もインストールする必要があります: https://www.rust-lang.org/tools/install

構成

システム変数として設定されていない場合は、 ArtistConfig/mITyJohn/ArtistConfig.jsonでOPENAI_API_KEY を設定します。必要に応じて、ArtistConfig.json の設定を調整します。

デフォルトでは、アーティスト mITyJohn は音楽作成の基本的なチェーンで実行されます。ただし、追加の Sonic PI 評価が必要な場合、または録音を開始したい場合は、他のエージェント構成を選択できます。

Eval: マシン上で実行されている Sonic PI インスタンスを介して Sonic PI コードを評価します。
フル: マシン上で実行されている Sonic PI インスタンスを介して Sonic PI コードを評価しますが、記録も開始します (現在は Windows マシンのみ)
アート: アーティスト構成に基づいてアルバムカバーの生成に制限 (曲の生成はありません)

これらの拡張チェーンの場合は、追加のセットアップが必要です。

マシン上で Sonic Pi を起動します
sonic_pi_IP と sonic_pi_port を修正して ArtistConfig.json を調整します (これらは Soni Pi IDE のメニュー > IO から見つけることができます)。受信 OSC メッセージが許可されていることを確認します。
次のコードをコピーして実行します (MusicAgent を起動する前に実行する必要があります)

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

または、 Sonicpi/Setup/recording.rb Sonic PI にロードします。

起動すると、キュー内のリスナーが起動されていることがわかります。これにより、Sonic Pi が音楽ファイルを再生し、MusicAgent にフィードバックを送信できるようになります。

MusicAgent の実行

MusicAgent は、CLI または Web アプリケーション経由の 2 つの異なる方法で実行できます。

ウェブアプリケーション

Web アプリケーションを実行すると、Web インターフェイス経由で MusicAgent と対話できるようになります。

python app.py

このアプリは音楽作成プロセスのさまざまな段階を視覚化し、MusicAgent と対話できるようにします。さまざまなエージェントとのチャット会話を進めることもできます。

音楽エージェント Web アプリ

さらに、さまざまな Sonic Pi バージョンをチェックアウトして、Sonic PI IDE に送信することもできます。

Music Agent Web アプリケーションの使用方法の詳細については、Music Agent App README を参照してください。

CLI

CLI を実行すると、コマンドライン経由で MusicAgent と対話できるようになります。

python run.py

起動すると、複数の基準を通過できるようになります。

プロンプトが表示されたら、AI モデルを選択します:「gpt-3.5-turbo」、「gpt-4」など。
曲の詳細を入力します: 名前、長さ、スタイル
必要に応じて、コード進行や音楽の影響などの特定のリクエストを追加します。

Sonic PI のサンプルは、「SonicPi/Examples」フォルダーにあります。

出力

MusicAgent は、トラック名で呼ばれるサブディレクトリ内の songs フォルダーに次のファイルを生成します。

生成されたトラックファイル: *.rb ファイルは Songs ディレクトリにあります。トラックを再生するには、SONIC PI にファイルをロードするだけです。
- 「フルアーティスト」構成を使用する場合、録音 WAV ファイルが追加で作成されます (後で Sonic Pi にロードする必要はありません)。
カバー画像 (同じサブディレクトリにあります)、歌詞、トラックのセットアップに関する追加の技術情報を含む小冊子
Music Agent のログファイル。トラックコードが失われたり不完全な場合は、ログを確認できます。

Sonic Pi 内で WAV を録音する