MusikAgent

MusicAgent-Benutzerhandbuch

Inhaltsverzeichnis

1. Einführung
2. Wie funktioniert es?
3. Verwenden von Music Agent
   • Voraussetzungen
   • Installation
4. Konfiguration
5. Ausführen des MusicAgent
   • Webanwendung
   • CLI
6. Ausgabe
7. Demo
8. Um

---

Einführung

MusicAgent ist ein MAS (Multi Agent System), das Songs in Sonic Pi programmiert. Es nutzt generative KI, um Songstrukturen, Arrangements, Texte usw. basierend auf Benutzerpräferenzen zu generieren. Dieses Handbuch enthält Anweisungen zur Installation, Konfiguration und Songgenerierung. Es werden noch keine Singstimmen generiert (Sie können diese nicht über Samples einbinden), sondern nur Instrumentalversionen.

Wie funktioniert es?

Sehen Sie Music Agent in Aktion

Wir haben verschiedene Assistenten definiert, die alle in den Phasen des Komponierens und Schreibens eines Songs eine unterschiedliche Rolle spielen. Der übernimmt die verschiedenen Schritte, beginnend mit der ersten Eingabe des Benutzers.

Die verschiedenen Assistentenrollen: In ArtistConfig.json sind verschiedene Rollen definiert

• Künstler
• Komponist
• Songwriter
• Arrangeur
• Sonic PI-Codierer
• Sonic PI-Rezensent
• Sonic PI Mix Engineer
• Meisteringenieur
• Musikverlag

Alle Rollen nehmen dort an verschiedenen Phasen der Komposition eines Liedes teil.

• Die Konfiguration der Sequenzen im Chaing finden Sie in MusicCreationChainConfig.json.
• Die Konfiguration und Beschreibung jeder Phase wird in MusicCreationPhaseConfig.json konfiguriert.

1. Entwurfsphase

2. Schöpfungsphase

Die eigentliche Erstellung des Sonic-Pi-Skripts, die anfängliche Wiedergabe, die Iteration über einen Agenten oder eine menschliche Überprüfung, gefolgt von der Neufassung des Codes.

3. Mastering-Phase

4. Veröffentlichungsphase

Beinhaltet je nach Künstlerkonfiguration die Generierung von Sonic Pi-Skriptdateien, Albumcover, Booklet und optionale Songaufnahme.

Die endgültige Ausgabe ist ein Booklet mit einem Albumcover (optional einer Aufnahme, abhängig von der gewählten Konfiguration) und natürlich dem codierten Songtitel in einer *.rb-Datei.

Verwenden von Music Agent

Voraussetzungen

• Sonic Pi: Muss auf Ihrem System installiert sein (erforderlich zum Ausführen der *.rb-Dateien): https://sonic-pi.net/
• Python muss auf Ihrem Computer installiert sein

Modell-API

Musikagenten funktionieren auch mit der OpenAI- und Anthropic-API (Anthropic bietet derzeit keine Bildgenerierung, daher wird kein Albumcover generiert). Um zwischen beiden zu wechseln, stellen Sie sicher, dass Sie beide Variablen in Ihrer Konfigurationsdatei oder Umgebungsvariablen festlegen.

• OPENAI_API_KEY: Als Systemumgebungsvariable oder in ArtistConfig/mITyJohn/ArtistConfig.json festgelegt.

  Auf MAC:

   export OPENAI_API_KEY= '  '

  Unter Windows (mit PowerShell):

   $env :OPENAI_API_KEY= '  '

• ANTHROPIC_API_KEY: Als Systemumgebungsvariable oder in ArtistConfig/mITyJohn/ArtistConfig.json festgelegt.

  Auf MAC:

   export ANTHROPIC_API_KEY= '  '

  Unter Windows (mit PowerShell):

   $env :ANTHROPIC_API_KEY= '  '

Installation

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

Aufgrund anthropischer Abhängigkeiten müssen Sie auch RUST installieren: https://www.rust-lang.org/tools/install

Konfiguration

Legen Sie OPENAI_API_KEY in ArtistConfig/mITyJohn/ArtistConfig.json fest, wenn es nicht als Systemvariable festgelegt ist. Passen Sie die Einstellungen in ArtistConfig.json nach Bedarf an.

Standardmäßig wird der Künstler mITyJohn mit der grundlegenden Kette der Musikerstellung ausgeführt. Wenn Sie jedoch eine zusätzliche Sonic-Pi-Auswertung wünschen oder sogar eine Aufnahme starten möchten, können Sie eine der anderen Agentenkonfigurationen wählen

• Eval: wertet Ihren Sonic-Pi-Code über eine Sonic-Pi-Instanz aus, die auf Ihrem Computer ausgeführt wird
• Vollständig: wertet Ihren Sonic-Pi-Code über die auf Ihrem Computer ausgeführte Sonic-Pi-Instanz aus, startet aber auch eine Aufzeichnung (derzeit nur auf Windows-Computern).
• Art: Beschränkung auf die Generierung von Albumcovern basierend auf der Künstlerkonfiguration (keine Songgenerierung)

Für diese erweiterten Ketten ist eine zusätzliche Einrichtung erforderlich:

1. Starten Sie Sonic Pi auf Ihrem Computer
2. Passen Sie ArtistConfig.json mit korrektem sonic_pi_IP und sonic_pi_port an (diese finden Sie in der Soni Pi IDE über Menü>IO). Überprüfen Sie, ob eingehende OSC-Nachrichten zulässig sind.
3. Kopieren Sie den folgenden Code und führen Sie ihn aus (muss vor dem Start von MusicAgent ausgeführt werden)

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

oder laden Sie einfach Sonicpi/Setup/recording.rb in Ihren Sonic PI.

4. Nach dem Start werden Sie feststellen, dass der Listener in Ihren Cues gestartet wird. Dadurch kann Sonic Pi Ihre Musikdatei abspielen und Feedback an MusicAgent senden.

Ausführen des MusicAgent

MusicAgent kann auf zwei verschiedene Arten ausgeführt werden: über die CLI oder über die Webanwendung.

Webanwendung

Wenn Sie die Webanwendung ausführen, können Sie über eine Webschnittstelle mit dem MusicAgent interagieren.

python app.py

Die App visualisiert die verschiedenen Phasen des Musikerstellungsprozesses und ermöglicht die Interaktion mit dem MusicAgent. Sie können auch an der Chat-Konversation mit den verschiedenen Agenten teilnehmen.

Darüber hinaus können Sie die verschiedenen Sonic Pi-Versionen ausprobieren und sie sogar an die Sonic PI-IDE senden.

Ausführlichere Informationen zur Verwendung der Music Agent-Webanwendung finden Sie in der README-Datei zur Music Agent-App

CLI

Wenn Sie die CLI ausführen, können Sie über die Befehlszeile mit dem MusicAgent interagieren.

python run.py

Nach dem Start können Sie mehrere Kriterien erfüllen:

• Wählen Sie ein KI-Modell aus, wenn Sie dazu aufgefordert werden: „gpt-3.5-turbo“, „gpt-4“ usw.
• Geben Sie Songdetails an: Name, Dauer, Stil
• Fügen Sie optional spezifische Wünsche wie Akkordfolgen oder musikalische Einflüsse hinzu.

Sonic PI-Beispiele finden Sie im Ordner „SonicPi/Examples“.

Ausgabe

MusicAgent generiert Folgendes im Ordner „Songs“ in einem Unterverzeichnis namens „Trackname“:

• Track-Datei generiert: Die *.rb-Datei befindet sich im Songs-Verzeichnis. Um Ihren Titel abzuspielen, laden Sie einfach die Datei in SONIC PI.
  • Bei Verwendung der „Full Artist“-Konfiguration wird zusätzlich eine WAV-Aufnahmedatei erstellt (ohne diese anschließend in Sonic Pi laden zu müssen)
• Ein Booklet mit Coverbild (das sich im selben Unterverzeichnis befindet), Liedtexten und zusätzlichen technischen Informationen zum Aufbau des Tracks
• Protokolldatei des Musikagenten. Wenn der Trackcode verloren gegangen ist oder unvollständig ist, können Sie die Protokolle überprüfen.

Wenn Sie beim Ausführen des Agenten die mITyJohn_Full-Konfiguration verwenden und Ihr Aufzeichnungsgerät korrekt konfiguriert ist (derzeit nur unter Windows), wird automatisch eine Aufzeichnung erstellt.

Um

Music Agent wurde ursprünglich von mITyJohn entwickelt. Das Projekt ist Open Source und steht der Community auf GitHub für Beiträge und Verbesserungen zur Verfügung (einfach weil es Spaß macht!).