Agen Musik

Panduan Pengguna Agen Musik

Daftar isi

1. Perkenalan
2. Bagaimana cara kerjanya?
3. Menggunakan Agen Musik
   • Prasyarat
   • Instalasi
4. Konfigurasi
5. Menjalankan Agen Musik
   • Aplikasi Web
   • CLI
6. Keluaran
7. Demo
8. Tentang

---

Perkenalan

MusicAgent adalah MAS (Multi Agent System) yang memprogram lagu dalam Sonic Pi. Ia menggunakan AI generatif untuk menghasilkan struktur lagu, aransemen, lirik, ... berdasarkan preferensi pengguna. Manual ini memberikan petunjuk tentang instalasi, konfigurasi, dan pembuatan lagu. Itu belum menghasilkan suara nyanyian (Anda dapat memasukkannya menggunakan sampel, hanya versi instrumental.

Bagaimana cara kerjanya?

Tonton Agen Musik beraksi

Kami mendefinisikan asisten yang berbeda-beda, semuanya memiliki peran berbeda sepanjang fase pembuatan dan penulisan lagu. Ini akan menangani langkah-langkah yang berbeda, mulai dari masukan awal pengguna.

Peran asisten yang berbeda: Peran yang berbeda ditentukan di ArtistConfig.json

• Artis
• Komposer
• Penulis lagu
• Pengatur
• Pembuat kode Sonic PI
• pengulas Sonic PI
• Insinyur Campuran Sonic PI
• Insinyur Utama
• Penerbit Musik

Semua peran mengambil bagian di sana dalam fase berbeda dalam pembuatan lagu.

• Konfigurasi urutan dalam rantai dapat ditemukan di MusicCreationChainConfig.json.
• Konfigurasi dan deskripsi setiap fase dikonfigurasi di MusicCreationPhaseConfig.json.

1. Tahap Desain

2. Fase Penciptaan

Pembuatan skrip sonic pi yang sebenarnya, pemutaran awal, iterasi melalui agen atau tinjauan manusia diikuti dengan penulisan ulang kode.

3. Fase Penguasaan

4. Tahap Penerbitan

Tergantung pada konfigurasi artis, termasuk pembuatan file skrip sonic pi, sampul album, buklet, dan rekaman lagu opsional.

Output akhirnya adalah sebuah buklet dengan sampul album (opsional rekaman tergantung pada konfigurasi yang dipilih), dan tentu saja trek lagu berkode dalam file *.rb.

Menggunakan Agen Musik

Prasyarat

• Sonic Pi: Harus diinstal di sistem Anda (diperlukan untuk menjalankan file *.rb): https://sonic-pi.net/
• Python Harus diinstal di mesin Anda

API Model

Agen musik juga bekerja dengan OpenAI & Anthropic API (Anthropic saat ini tidak menyediakan pembuatan gambar, jadi sampul album tidak akan dibuat). Untuk beralih di antara keduanya, pastikan untuk menyetel kedua variabel di file konfigurasi atau variabel lingkungan Anda.

• OPENAI_API_KEY: Tetapkan sebagai variabel lingkungan sistem atau di ArtistConfig/mITyJohn/ArtistConfig.json .

  Di MAC:

   export OPENAI_API_KEY= '  '

  Di Windows (menggunakan PowerShell):

   $env :OPENAI_API_KEY= '  '

• ANTHROPIC_API_KEY: Tetapkan sebagai variabel lingkungan sistem atau di ArtistConfig/mITyJohn/ArtistConfig.json .

  Di MAC:

   export ANTHROPIC_API_KEY= '  '

  Di Windows (menggunakan PowerShell):

   $env :ANTHROPIC_API_KEY= '  '

Instalasi

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

Karena ketergantungan antropik, Anda juga perlu menginstal RUST: https://www.rust-lang.org/tools/install

Konfigurasi

Tetapkan OPENAI_API_KEY di ArtistConfig/mITyJohn/ArtistConfig.json jika tidak ditetapkan sebagai variabel sistem. Sesuaikan pengaturan di ArtistConfig.json sesuai kebutuhan.

Secara default, artis mITyJohn akan dijalankan dengan rantai dasar pembuatan musik. Tetapi jika Anda ingin evaluasi sonic pi tambahan atau bahkan memulai rekaman, Anda dapat memilih konfigurasi agen lainnya=

• Eval: akan mengevaluasi kode sonic pi Anda melalui instance sonic pi yang berjalan di mesin Anda
• Penuh: akan mengevaluasi kode sonic pi Anda melalui instance sonic pi yang berjalan di mesin Anda tetapi juga akan memulai perekaman (saat ini hanya di mesin windows)
• Seni: batasan pembuatan sampul album berdasarkan konfigurasi artis (tidak ada pembuatan lagu)

Untuk rantai yang diperluas ini diperlukan pengaturan tambahan:

1. Luncurkan Sonic Pi di mesin Anda
2. Sesuaikan ArtistConfig.json dengan memperbaiki sonic_pi_IP & sonic_pi_port (ini dapat ditemukan di Soni Pi IDE melalui menu>IO). Pastikan pesan OSC yang masuk diperbolehkan.
3. Salin dan jalankan kode berikut (harus dijalankan sebelum memulai MusicAgent)

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

atau cukup muat Sonicpi/Setup/recording.rb di Sonic PI Anda.

4. Setelah diluncurkan, Anda akan melihat pendengar di Isyarat Anda diluncurkan. Ini akan memungkinkan Sonic Pi memutar file musik Anda dan mengirim umpan balik ke MusicAgent.

Menjalankan Agen Musik

MusicAgent dapat dijalankan dengan 2 cara berbeda: melalui CLI atau melalui aplikasi web.

Aplikasi Web

Menjalankan aplikasi web akan memungkinkan Anda berinteraksi dengan MusicAgent melalui antarmuka web.

python app.py

Aplikasi ini memvisualisasikan berbagai fase proses pembuatan musik dan memungkinkan Anda berinteraksi dengan MusicAgent. Anda juga dapat melakukan percakapan obrolan dengan agen yang berbeda.

Selain itu, Anda dapat memeriksa berbagai versi Sonic Pi, mengirimkannya bahkan ke Sonic PI IDE.

Informasi lebih lengkap tentang cara menggunakan aplikasi web Agen Musik dapat ditemukan di Aplikasi Agen Musik README

CLI

Menjalankan CLI akan memungkinkan Anda berinteraksi dengan MusicAgent melalui baris perintah.

python run.py

Setelah diluncurkan, Anda akan dapat memenuhi beberapa kriteria:

• Pilih model AI saat diminta: "gpt-3.5-turbo", "gpt-4", dll.
• Berikan detail lagu: nama, durasi, gaya
• Secara opsional, tambahkan permintaan spesifik seperti progresi akord atau pengaruh musik.

Contoh Sonic PI dapat ditemukan di folder 'SonicPi/Examples'.

Keluaran

MusicAgent akan menghasilkan yang berikut ini di folder lagu di subdirektori yang dipanggil dengan nama track:

• File Lagu yang Dihasilkan: file *.rb dapat ditemukan di direktori Lagu. Untuk memutar trek Anda, cukup muat file di SONIC PI.
  • saat menggunakan konfigurasi "artis lengkap", file rekaman WAV akan dibuat tambahan (tanpa harus memuatnya di sonic Pi setelahnya)
• Buklet berisi gambar sampul (yang berada di subdirektori yang sama), lirik & informasi teknis tambahan tentang pengaturan trek
• File pencatatan Agen Musik. Jika kode trek hilang atau tidak lengkap, Anda dapat memverifikasi lognya.

Jika Anda menggunakan konfigurasi mITyJohn_Full saat menjalankan agen, dan perangkat rekaman Anda dikonfigurasi dengan benar (saat ini hanya di windows), rekaman akan dibuat secara otomatis.

Tentang

Agen Musik awalnya dikembangkan oleh mITyJohn. Proyek ini bersumber terbuka dan tersedia di GitHub bagi komunitas untuk memberikan kontribusi dan peningkatan (hanya karena menyenangkan!).