Agent de musique

Manuel d'utilisation de MusicAgent

Table des matières

1. Introduction
2. Comment ça marche ?
3. Utiliser Music Agent
   • Conditions préalables
   • Installation
4. Configuration
5. Exécution de MusicAgent
   • Application Web
   • CLI
6. Sortir
7. Démo
8. À propos

---

Introduction

MusicAgent est un MAS (Multi Agent System) qui programme des chansons dans Sonic Pi. Il utilise l'IA générative pour générer des structures de chansons, des arrangements, des paroles, ... en fonction des préférences de l'utilisateur. Ce manuel fournit des instructions sur l'installation, la configuration et la génération de morceaux. Il ne génère pas encore de voix chantées (vous pouvez les inclure à l'aide d'échantillons, uniquement des versions instrumentales).

Comment ça marche ?

Regardez Music Agent en action

Nous avons défini différents assistants, ayant tous un rôle différent tout au long des phases de composition et d'écriture d'une chanson. Le gérera les différentes étapes, à partir de la saisie initiale de l'utilisateur.

Les différents rôles d'assistant : Différents rôles sont définis dans ArtistConfig.json

• Artiste
• Compositeur
• Auteur-compositeur
• Arrangeur
• Codeur PI sonique
• Réviseur de Sonic PI
• Ingénieur Sonic PI Mix
• Ingénieur Maître
• Éditeur de musique

Tous les rôles y participent à différentes phases de composition d'une chanson.

• La configuration des séquences dans le chaing peut être trouvée dans MusicCreationChainConfig.json.
• La configuration et la description de chaque phase sont configurées dans MusicCreationPhaseConfig.json.

1. Phase de conception

2. Phase de création

La création réelle du script Sonic Pi, la lecture initiale, l'itération sur l'agent ou l'examen humain suivi d'une réécriture du code.

3. Phase de maîtrise

4. Phase de publication

Selon la configuration de l'artiste, comprend la génération de fichiers de script Sonic Pi, la couverture de l'album, le livret et l'enregistrement de chansons en option.

Le résultat final est un livret avec une couverture d'album (éventuellement un enregistrement selon la configuration choisie), et bien sûr la piste de chanson codée dans un fichier *.rb.

Utiliser Music Agent

Conditions préalables

• Sonic Pi : Doit être installé sur votre système (nécessaire pour exécuter les fichiers *.rb) : https://sonic-pi.net/
• Python Doit être installé sur votre machine

API de modèle

Les agents musicaux fonctionnent également avec l'API OpenAI et Anthropic (Anthropic ne fournit actuellement pas de génération d'images, donc aucune couverture d'album ne sera générée). Pour basculer entre les deux, assurez-vous de définir les deux variables dans votre fichier de configuration ou vos variables d'environnement.

• OPENAI_API_KEY : défini comme variable d'environnement système ou dans ArtistConfig/mITyJohn/ArtistConfig.json .

  Sur MAC :

   export OPENAI_API_KEY= '  '

  Sous Windows (en utilisant PowerShell) :

   $env :OPENAI_API_KEY= '  '

• ANTHROPIC_API_KEY : défini comme variable d'environnement système ou dans ArtistConfig/mITyJohn/ArtistConfig.json .

  Sur MAC :

   export ANTHROPIC_API_KEY= '  '

  Sous Windows (en utilisant PowerShell) :

   $env :ANTHROPIC_API_KEY= '  '

Installation

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

En raison des dépendances anthropiques, vous devrez également installer RUST : https://www.rust-lang.org/tools/install

Configuration

Définissez OPENAI_API_KEY dans ArtistConfig/mITyJohn/ArtistConfig.json s'il n'est pas défini en tant que variable système. Ajustez les paramètres dans ArtistConfig.json si nécessaire.

Par défaut, l'artiste mITyJohn sera exécuté avec la chaîne de base de création musicale. Mais si vous souhaitez une évaluation supplémentaire de Sonic Pi ou même démarrer un enregistrement, vous pouvez choisir l'une des autres configurations d'agent =

• Eval : évaluera votre code Sonic Pi via l'instance Sonic Pi exécutée sur votre machine
• Complet : évaluera votre code Sonic Pi via l'instance Sonic Pi exécutée sur votre machine mais lancera également un enregistrement (actuellement uniquement sur la machine Windows)
• Art : limite à la génération de pochettes d'album en fonction de la configuration de l'artiste (pas de génération de chanson)

Pour ces chaînes étendues, une configuration supplémentaire est nécessaire :

1. Lancez Sonic Pi sur votre machine
2. Adaptez ArtistConfig.json en corrigeant sonic_pi_IP et sonic_pi_port (ceux-ci peuvent être trouvés dans Soni Pi IDE via menu>IO). Vérifiez que les messages OSC entrants sont autorisés.
3. Copiez et exécutez le code suivant (doit être exécuté avant de démarrer MusicAgent)

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

ou chargez simplement Sonicpi/Setup/recording.rb dans votre Sonic PI.

4. Une fois lancé, vous remarquerez le lancement de l'écouteur de vos Cues. Cela permettra à Sonic Pi de lire votre fichier musical et d'envoyer des commentaires à MusicAgent.

Exécution de MusicAgent

MusicAgent peut être exécuté de 2 manières différentes : via la CLI ou via l'application Web.

Application Web

L'exécution de l'application Web vous permettra d'interagir avec MusicAgent via une interface Web.

python app.py

L'application visualise les différentes phases du processus de création musicale et vous permet d'interagir avec le MusicAgent. Vous pourrez également suivre la conversation par chat avec les différents agents.

De plus, vous pouvez consulter les différentes versions de Sonic Pi, et les envoyer même à l'IDE Sonic PI.

Des informations plus détaillées sur l'utilisation de l'application Web Music Agent sont disponibles dans le fichier README de l'application Music Agent.

CLI

L'exécution de la CLI vous permettra d'interagir avec MusicAgent via la ligne de commande.

python run.py

Une fois lancé, vous pourrez répondre à plusieurs critères :

• Choisissez un modèle d'IA lorsque vous y êtes invité : "gpt-3.5-turbo", "gpt-4", etc.
• Fournissez les détails de la chanson : nom, durée, style
• Ajoutez éventuellement des demandes spécifiques telles que des progressions d'accords ou des influences musicales.

Des exemples de Sonic PI peuvent être trouvés dans le dossier « SonicPi/Examples ».

Sortir

MusicAgent générera les éléments suivants dans le dossier des chansons dans un sous-répertoire appelé par nom de piste :

• Fichier de piste généré : le fichier *.rb se trouve dans le répertoire Songs. Pour lire votre piste, chargez simplement le fichier dans SONIC PI.
  • lors de l'utilisation de la configuration "artiste complet", le fichier WAV d'enregistrement sera créé en plus (sans avoir à le charger dans Sonic Pi par la suite)
• Un livret contenant l'image de couverture (qui réside dans le même sous-répertoire), les paroles et des informations techniques supplémentaires sur la configuration de la piste
• Fichier de journalisation de Music Agent. Si le code de suivi est perdu ou est incomplet, vous pouvez vérifier les journaux.

Si vous utilisez la configuration mITyJohn_Full lors de l'exécution de l'agent et que votre périphérique d'enregistrement est correctement configuré (uniquement sous Windows actuellement), un enregistrement sera effectué automatiquement.

À propos

Music Agent a été initialement développé par mITyJohn. Le projet est open-source et disponible sur GitHub pour la communauté pour des contributions et des améliorations (juste parce que c'est amusant !).