Agente Musical

Manual do usuário do MusicAgent

Índice

1. Introdução
2. Como funciona?
3. Usando o Agente Musical
   • Pré-requisitos
   • Instalação
4. Configuração
5. Executando o MusicAgent
   • Aplicativo Web
   • CLI
6. Saída
7. Demonstração
8. Sobre

---

Introdução

MusicAgent é um MAS (Multi Agent System) que programa músicas no Sonic Pi. Ele usa IA generativa para gerar estruturas musicais, arranjos, letras, ... com base nas preferências do usuário. Este manual fornece instruções sobre instalação, configuração e geração de músicas. Ainda não gera vozes cantadas (você pode incluí-las usando samples, apenas versões instrumentais.

Como funciona?

Veja o Agente Musical em ação

Definimos diferentes assistentes, todos com funções diferentes ao longo das fases de composição e escrita de uma música. Ele cuidará das diferentes etapas, começando pela entrada inicial do usuário.

As diferentes funções de assistente: Diferentes funções são definidas em ArtistConfig.json

• Artista
• Compositor
• Compositor
• Arranjador
• Codificador Sonic PI
• Revisor do Sonic PI
• Engenheiro de mixagem Sonic PI
• Engenheiro Mestre
• Editora musical

Todos os papéis participam de diferentes fases da composição de uma música.

• A configuração das sequências no encadeamento pode ser encontrada em MusicCreationChainConfig.json.
• A configuração e a descrição de cada fase são configuradas em MusicCreationPhaseConfig.json.

1. Fase de projeto

2. Fase de Criação

A criação real do script sonic pi, reprodução inicial, iteração sobre o agente ou revisão humana seguida de reescrita do código.

3. Fase de Masterização

4. Fase de Publicação

Dependendo da configuração do artista, inclui geração de arquivo de script Sonic Pi, capa do álbum, livreto e gravação opcional de música.

A saída final é um livreto com a capa do álbum (opcionalmente uma gravação dependendo da configuração escolhida) e, claro, a faixa da música codificada em um arquivo *.rb.

Usando o Agente Musical

Pré-requisitos

• Sonic Pi: Deve estar instalado em seu sistema (necessário para executar os arquivos *.rb): https://sonic-pi.net/
• Python deve estar instalado em sua máquina

API de modelo

Os agentes musicais também funcionam com a API OpenAI e Anthropic (a Anthropic atualmente não fornece geração de imagens, portanto, nenhuma capa de álbum será gerada). Para alternar entre ambos, certifique-se de definir ambas as variáveis ​​em seu arquivo de configuração ou variáveis ​​de ambiente.

• OPENAI_API_KEY: definido como uma variável de ambiente do sistema ou em ArtistConfig/mITyJohn/ArtistConfig.json .

  No MAC:

   export OPENAI_API_KEY= '  '

  No Windows (usando PowerShell):

   $env :OPENAI_API_KEY= '  '

• ANTHROPIC_API_KEY: definido como uma variável de ambiente do sistema ou em ArtistConfig/mITyJohn/ArtistConfig.json .

  No MAC:

   export ANTHROPIC_API_KEY= '  '

  No Windows (usando PowerShell):

   $env :ANTHROPIC_API_KEY= '  '

Instalação

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

Devido às dependências antrópicas, você também precisará instalar o RUST: https://www.rust-lang.org/tools/install

Configuração

Defina OPENAI_API_KEY em ArtistConfig/mITyJohn/ArtistConfig.json se não estiver definido como uma variável do sistema. Ajuste as configurações em ArtistConfig.json conforme necessário.

Por padrão, o artista mITyJohn será executado com a cadeia básica de criação musical. Mas se você quiser uma avaliação adicional do Sonic Pi ou até mesmo iniciar uma gravação, você pode escolher uma das outras configurações do agente =

• Eval: avaliará seu código sonic pi por meio da instância sonic pi em execução em sua máquina
• Completo: avaliará seu código Sonic Pi por meio da instância Sonic Pi em execução em sua máquina, mas também iniciará uma gravação (atualmente apenas em máquinas Windows)
• Arte: limite para geração de capa de álbum com base na configuração do artista (sem geração de música)

Para essas cadeias estendidas é necessária uma configuração adicional:

1. Inicie o Sonic Pi em sua máquina
2. Adapte ArtistConfig.json corrigindo sonic_pi_IP e sonic_pi_port (estes podem ser encontrados no Soni Pi IDE através do menu> IO). Verifique se as mensagens OSC recebidas são permitidas.
3. Copie e execute o código a seguir (precisa estar em execução antes de iniciar o MusicAgent)

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

ou apenas carregue Sonicpi/Setup/recording.rb em seu Sonic PI.

4. Depois de iniciado, você notará que o ouvinte em suas Cues está sendo iniciado. Isso permitirá que o Sonic Pi reproduza seu arquivo de música e envie feedback ao MusicAgent.

Executando o MusicAgent

O MusicAgent pode ser executado de 2 maneiras diferentes: via CLI ou através do aplicativo web.

Aplicativo Web

A execução do aplicativo web permitirá que você interaja com o MusicAgent por meio de uma interface web.

python app.py

O aplicativo visualiza as diferentes fases do processo de criação musical e permite interagir com o MusicAgent. Você também poderá conversar por chat com os diferentes agentes.

Além disso, você pode conferir as diferentes versões do Sonic Pi, enviando-as até mesmo para o IDE do Sonic PI.

Informações mais elaboradas sobre como usar o aplicativo da web Music Agent podem ser encontradas no README do aplicativo Music Agent

CLI

A execução da CLI permitirá que você interaja com o MusicAgent por meio da linha de comando.

python run.py

Depois de lançado, você poderá passar por vários critérios:

• Escolha um modelo de IA quando solicitado: "gpt-3.5-turbo", "gpt-4", etc.
• Forneça detalhes da música: nome, duração, estilo
• Opcionalmente, adicione solicitações específicas, como progressões de acordes ou influências musicais.

Exemplos do Sonic PI podem ser encontrados na pasta 'SonicPi/Examples'.

Saída

O MusicAgent irá gerar o seguinte na pasta songs em um subdiretório chamado por trackname:

• Arquivo de faixa gerado: o arquivo *.rb pode ser encontrado no diretório Songs. Para reproduzir sua faixa, basta carregar o arquivo no SONIC PI.
  • ao usar a configuração "artista completo", o arquivo WAV de gravação será criado adicionalmente (sem a necessidade de carregá-lo posteriormente no Sonic Pi)
• Um livreto contendo a imagem da capa (que reside no mesmo subdiretório), letras e informações técnicas adicionais sobre a configuração da faixa
• Arquivo de log do Agente Musical. Se o código de rastreamento for perdido ou estiver incompleto, você poderá verificar os registros.

Se você estiver usando a configuração mITyJohn_Full ao executar o agente e seu dispositivo de gravação estiver configurado corretamente (atualmente apenas no Windows), uma gravação será feita automaticamente.

Sobre

O Music Agent foi originalmente desenvolvido por mITyJohn. O projeto é de código aberto e está disponível no GitHub para a comunidade contribuir e melhorar (só porque é divertido!).