МузыкальныйАгент

Руководство пользователя MusicAgent

Оглавление

1. Введение
2. Как это работает?
3. Использование музыкального агента
   • Предварительные условия
   • Установка
4. Конфигурация
5. Запуск MusicAgent
   • Веб-приложение
   • интерфейс командной строки
6. Выход
7. Демо
8. О

---

Введение

MusicAgent — это MAS (мультиагентная система), которая программирует песни в Sonic Pi. Он использует генеративный искусственный интеллект для создания структур песен, аранжировок, текстов… на основе предпочтений пользователя. В этом руководстве представлены инструкции по установке, настройке и созданию песен. Он еще не генерирует певческие голоса (вы можете включить их с помощью семплов, только инструментальные версии.

Как это работает?

Посмотрите Music Agent в действии

Мы определили разных помощников, каждый из которых выполнял разные роли на этапах сочинения и написания песни. Он будет обрабатывать различные шаги, начиная с первоначального ввода пользователя.

Различные роли помощников: разные роли определены в ArtistConfig.json.

• Художник
• Композитор
• Автор песен
• Аранжировщик
• Соник ПИ кодер
• Обозреватель Sonic PI
• Инженер Sonic PI Mix
• Главный инженер
• Музыкальный издатель

Все роли принимают участие на разных этапах написания песни.

• Конфигурацию последовательностей в цепочке можно найти в MusicCreationChainConfig.json.
• Конфигурация и описание каждого этапа настраиваются в MusicCreationPhaseConfig.json.

1. Этап проектирования

2. Фаза создания

Фактическое создание сценария sonic pi, первоначальное воспроизведение, повторение агентской или человеческой проверки с последующей перепиской кода.

3. Фаза освоения

4. Этап публикации

В зависимости от конфигурации исполнителя включает в себя создание файла сценария sonic pi, обложку альбома, буклет и дополнительную запись песни.

В конечном итоге получается буклет с обложкой альбома (опционально, записью, в зависимости от выбранной конфигурации) и, конечно же, закодированной песней в файле *.rb.

Использование музыкального агента

Предварительные условия

• Sonic Pi: Должен быть установлен в вашей системе (необходим для запуска файлов *.rb): https://sonic-pi.net/
• Python Должен быть установлен на вашем компьютере

API модели

Музыкальные агенты также работают с OpenAI и Anthropic API (в настоящее время Anthropic не обеспечивает генерацию изображений, поэтому обложки альбомов создаваться не будут). Чтобы переключиться между ними, обязательно установите обе переменные в файле конфигурации или переменных среды.

• OPENAI_API_KEY: установите как переменную системной среды или в ArtistConfig/mITyJohn/ArtistConfig.json .

  На МАК:

   export OPENAI_API_KEY= '  '

  В Windows (с использованием PowerShell):

   $env :OPENAI_API_KEY= '  '

• ANTHROPIC_API_KEY: установите как системную переменную среды или в ArtistConfig/mITyJohn/ArtistConfig.json .

  На МАК:

   export ANTHROPIC_API_KEY= '  '

  В Windows (с использованием PowerShell):

   $env :ANTHROPIC_API_KEY= '  '

Установка

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

Из-за антропных зависимостей вам также потребуется установить RUST: https://www.rust-lang.org/tools/install.

Конфигурация

Установите OPENAI_API_KEY в ArtistConfig/mITyJohn/ArtistConfig.json если он не установлен в качестве системной переменной. При необходимости измените настройки в ArtistConfig.json.

По умолчанию исполнитель mITyJohn будет запускать базовую цепочку создания музыки. Но если вам нужна дополнительная оценка sonic pi или даже начать запись, вы можете выбрать одну из других конфигураций агента =

• Eval: оценит ваш код sonic pi через экземпляр sonic pi, работающий на вашем компьютере.
• Полный: оценит ваш код sonic pi через экземпляр sonic pi, работающий на вашем компьютере, но также начнет запись (в настоящее время только на компьютере с Windows).
• Искусство: ограничение на создание обложек альбомов в зависимости от конфигурации исполнителя (без создания песен)

Для этих расширенных цепочек необходима дополнительная настройка:

1. Запустите Sonic Pi на своем компьютере.
2. Адаптируйте ArtistConfig.json, исправив sonic_pi_IP и sonic_pi_port (их можно найти в Soni Pi IDE через меню>IO). Убедитесь, что входящие сообщения OSC разрешены.
3. Скопируйте и запустите следующий код (необходимо запустить перед запуском MusicAgent)

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

или просто загрузите Sonicpi/Setup/recording.rb в свой Sonic PI.

4. После запуска вы заметите, что слушатель в ваших Cues запускается. Это позволит Sonic Pi воспроизвести ваш музыкальный файл и отправить отзыв в MusicAgent.

Запуск MusicAgent

MusicAgent можно запустить двумя разными способами: через CLI или через веб-приложение.

Веб-приложение

Запуск веб-приложения позволит вам взаимодействовать с MusicAgent через веб-интерфейс.

python app.py

Приложение визуализирует различные этапы процесса создания музыки и позволяет взаимодействовать с MusicAgent. Вы также сможете общаться в чате с разными агентами.

Кроме того, вы можете проверить различные версии Sonic Pi, отправив их даже в Sonic PI IDE.

Более подробную информацию о том, как использовать веб-приложение Music Agent, можно найти в README приложения Music Agent.

интерфейс командной строки

Запуск CLI позволит вам взаимодействовать с MusicAgent через командную строку.

python run.py

После запуска вы сможете пройти несколько критериев:

• При появлении запроса выберите модель ИИ: «gpt-3.5-turbo», «gpt-4» и т. д.
• Укажите подробную информацию о песне: название, продолжительность, стиль.
• При желании добавьте конкретные пожелания, такие как последовательность аккордов или музыкальные влияния.

Примеры Sonic PI можно найти в папке «SonicPi/Examples».

Выход

MusicAgent сгенерирует следующее в папке песен в подкаталоге с именем трека:

• Созданный файл трека: файл *.rb можно найти в каталоге Songs. Чтобы воспроизвести трек, просто загрузите файл в SONIC PI.
  • при использовании конфигурации «полный исполнитель» запись WAV-файла будет создана дополнительно (без необходимости последующей загрузки его в sonic Pi)
• Буклет, содержащий обложку (находится в том же подкаталоге), тексты песен и дополнительную техническую информацию о настройке трека.
• Файл журнала Music Agent. Если код трека потерян или неполный, вы можете проверить журналы.

Если вы используете конфигурацию mITyJohn_Full при запуске агента и ваше записывающее устройство правильно настроено (в настоящее время только в Windows), запись будет производиться автоматически.

О

Music Agent изначально был разработан mITyJohn. Проект имеет открытый исходный код и доступен на GitHub для сообщества, которое может внести свой вклад и улучшить (просто потому, что это весело!).