뮤직에이전트

기타 소스코드

v1.2.0

다운로드

MusicAgent 사용 설명서

뮤직 에이전시

소개

뮤직 에이전트 로고

MusicAgent는 Sonic Pi에서 노래를 프로그래밍하는 MAS(Multi Agent System)입니다. 생성 AI를 사용하여 사용자 선호도에 따라 노래 구조, 편곡, 가사 등을 생성합니다. 이 매뉴얼은 설치, 구성 및 노래 생성에 대한 지침을 제공합니다. 아직은 노래하는 목소리를 생성하지 않습니다(샘플을 사용하여 포함할 수 있으며 악기 버전만 포함할 수 있습니다).

건축가 개요

어떻게 작동하나요?

뮤직 에이전트의 작동 모습 보기

우리는 작곡과 작곡 단계 전반에 걸쳐 서로 다른 역할을 수행하는 다양한 어시스턴트를 정의했습니다. 에서는 사용자의 초기 입력부터 시작하여 다양한 단계를 처리합니다.

다양한 보조 역할: ArtistConfig.json에 다양한 역할이 정의되어 있습니다.

아티스트
작곡가
작곡가
각색
소닉 PI 코더
Sonic PI 리뷰어
Sonic PI 믹스 엔지니어
마스터 엔지니어
음반 출판사

음악 에이전트 흐름

모든 역할은 노래를 작곡하는 다양한 단계에 참여합니다.

체인의 시퀀스 구성은 MusicCreationChainConfig.json에서 찾을 수 있습니다.
각 단계의 구성 및 설명은 MusicCreationPhaseConfig.json에서 구성됩니다.

1. 설계 단계

설계 단계

2. 생성 단계

Sonic pi 스크립트의 실제 생성, 초기 재생, 에이전트 반복 또는 사람 검토 후 코드 재작성.

생성 단계

3. 마스터링 단계

마스터링 단계

4. 출판 단계

아티스트 구성에 따라 Sonic Pi 스크립트 파일 생성, 앨범 커버, 소책자 및 선택적 노래 녹음이 포함됩니다.

출판 단계

최종 출력은 앨범 표지(선택한 구성에 따라 녹음도 가능)가 포함된 소책자이며 물론 *.rb 파일의 코딩된 노래 트랙입니다.

뮤직 에이전트 사용

전제조건

Sonic Pi: 시스템에 설치해야 합니다(*.rb 파일을 실행하는 데 필요): https://sonic-pi.net/
Python 이 컴퓨터에 설치되어 있어야 합니다.

모델 API

음악 에이전트는 OpenAI 및 Anthropic API와도 잘 작동합니다(Anthropic은 현재 이미지 생성을 제공하지 않으므로 앨범 표지가 생성되지 않습니다). 둘 사이를 전환하려면 구성 파일이나 환경 변수에 두 변수를 모두 설정해야 합니다.

OPENAI_API_KEY: 시스템 환경 변수 또는 ArtistConfig/mITyJohn/ArtistConfig.json 으로 설정합니다.
MAC의 경우:
```
 export OPENAI_API_KEY= '  '
```
Windows의 경우(PowerShell 사용):
```
 $env :OPENAI_API_KEY= '  '
```
ANTHROPIC_API_KEY: 시스템 환경 변수 또는 ArtistConfig/mITyJohn/ArtistConfig.json 으로 설정합니다.
MAC의 경우:
```
 export ANTHROPIC_API_KEY= '  '
```
Windows의 경우(PowerShell 사용):
```
 $env :ANTHROPIC_API_KEY= '  '
```

설치

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

인류에 대한 의존성 때문에 RUST도 설치해야 합니다: https://www.rust-lang.org/tools/install

구성

시스템 변수로 설정되지 않은 경우 ArtistConfig/mITyJohn/ArtistConfig.json 에서 OPENAI_API_KEY를 설정하세요. 필요에 따라 ArtistConfig.json의 설정을 조정합니다.

기본적으로 아티스트 mITyJohn은 음악 제작의 기본 체인으로 실행됩니다. 하지만 추가 Sonic Pi 평가를 원하거나 녹음을 시작하려는 경우에는 다른 에이전트 구성 중에서 선택할 수 있습니다=

평가: 컴퓨터에서 실행되는 Sonic pi 인스턴스를 통해 Sonic pi 코드를 평가합니다.
전체: 컴퓨터에서 실행 중인 Sonic pi 인스턴스를 통해 Sonic pi 코드를 평가하지만 기록도 시작합니다(현재는 Windows 컴퓨터에만 해당).
Art: 아티스트 구성에 따른 앨범 커버 생성 제한(곡 생성 없음)

이러한 확장 체인의 경우 추가 설정이 필요합니다.

컴퓨터에서 Sonic Pi를 실행하세요.
sonic_pi_IP 및 sonic_pi_port를 수정하여 ArtistConfig.json을 조정합니다(메뉴>IO를 통해 Soni Pi IDE에서 찾을 수 있음). 들어오는 OSC 메시지가 허용되는지 확인하십시오.
다음 코드를 복사하여 실행합니다(MusicAgent를 시작하기 전에 실행해야 함).

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

아니면 Sonic PI에 Sonicpi/Setup/recording.rb 로드하세요.

일단 실행되면 큐의 리스너가 실행되는 것을 확인할 수 있습니다. 이렇게 하면 Sonic Pi가 음악 파일을 재생하고 MusicAgent에 피드백을 보낼 수 있습니다.

MusicAgent 실행

MusicAgent는 CLI 또는 웹 애플리케이션을 통해 두 가지 방법으로 실행할 수 있습니다.

웹 애플리케이션

웹 애플리케이션을 실행하면 웹 인터페이스를 통해 MusicAgent와 상호 작용할 수 있습니다.

python app.py

이 앱은 음악 제작 과정의 다양한 단계를 시각화하고 MusicAgent와 상호 작용할 수 있도록 해줍니다. 또한 다양한 상담원과 채팅 대화를 진행할 수도 있습니다.

뮤직 에이전트 웹 앱

또한 다양한 Sonic Pi 버전을 확인하여 Sonic PI IDE로 보낼 수도 있습니다.

Music Agent 웹 애플리케이션 사용 방법에 대한 더 자세한 정보는 Music Agent 앱 README에서 확인할 수 있습니다.

CLI

CLI를 실행하면 명령줄을 통해 MusicAgent와 상호 작용할 수 있습니다.

python run.py

일단 출시되면 여러 기준을 통과할 수 있습니다.

메시지가 표시되면 "gpt-3.5-turbo", "gpt-4" 등 AI 모델을 선택합니다.
노래 세부 정보 제공: 이름, 기간, 스타일
선택적으로 코드 진행이나 음악적 영향과 같은 특정 요청을 추가하세요.

Sonic PI 예제는 'SonicPi/Examples' 폴더에서 찾을 수 있습니다.

산출

MusicAgent는 trackname이라는 하위 디렉터리의 songs 폴더에 다음을 생성합니다.

생성된 트랙 파일: *.rb 파일은 Songs 디렉토리에서 찾을 수 있습니다. 트랙을 재생하려면 SONIC PI에서 파일을 로드하기만 하면 됩니다.
- "전체 아티스트" 구성을 사용하면 녹음 WAV 파일이 추가로 생성됩니다(나중에 Sonic Pi에서 로드할 필요 없음).
표지 이미지(동일한 하위 디렉터리에 있음), 가사 및 트랙 설정에 대한 추가 기술 정보가 포함된 소책자
뮤직 에이전트 로깅 파일. 트랙 코드가 분실되었거나 불완전한 경우 로그를 확인할 수 있습니다.

Sonic Pi에서 WAV 녹음하기