มิวสิคเอเจนท์

คู่มือการใช้งาน MusicAgent

สารบัญ

1. การแนะนำ
2. มันทำงานอย่างไร?
3. การใช้ตัวแทนเพลง
   • ข้อกำหนดเบื้องต้น
   • การติดตั้ง
4. การกำหนดค่า
5. เรียกใช้ MusicAgent
   • แอปพลิเคชันเว็บ
   • คลีไอ
6. เอาท์พุต
7. สาธิต
8. เกี่ยวกับ

---

การแนะนำ

MusicAgent คือ MAS (Multi Agent System) ที่ตั้งโปรแกรมเพลงใน Sonic Pi ใช้ generative AI เพื่อสร้างโครงสร้างเพลง การเรียบเรียง เนื้อเพลง ... ตามความต้องการของผู้ใช้ คู่มือนี้ให้คำแนะนำเกี่ยวกับการติดตั้ง การกำหนดค่า และการสร้างเพลง ยังไม่มีเสียงร้อง (คุณสามารถรวมไว้โดยใช้ตัวอย่างได้ เฉพาะเวอร์ชันเครื่องดนตรีเท่านั้น)

มันทำงานอย่างไร?

ชมการทำงานของ Music Agent

เรากำหนดผู้ช่วยที่แตกต่างกัน โดยทุกคนมีบทบาทที่แตกต่างกันตลอดขั้นตอนการแต่งและเขียนเพลง จะจัดการขั้นตอนต่างๆ โดยเริ่มจากการป้อนข้อมูลเริ่มต้นของผู้ใช้

บทบาทผู้ช่วยที่แตกต่างกัน: บทบาทที่แตกต่างกันถูกกำหนดไว้ใน ArtistConfig.json

• ศิลปิน
• ผู้แต่ง
• นักแต่งเพลง
• ผู้จัด
• โซนิค PI โค้ดเดอร์
• ผู้ตรวจสอบ Sonic PI
• วิศวกรผสม Sonic PI
• วิศวกรระดับปรมาจารย์
• ผู้เผยแพร่เพลง

ทุกบทบาทมีส่วนร่วมในขั้นตอนต่างๆ ของการแต่งเพลง

• การกำหนดค่าลำดับในการ chaing สามารถพบได้ใน MusicCreationChainConfig.json
• การกำหนดค่าและคำอธิบายของแต่ละเฟสได้รับการกำหนดค่าใน MusicCreationPhaseConfig.json

1. ขั้นตอนการออกแบบ

2. ขั้นตอนการสร้าง

การสร้างสคริปต์ sonic pi จริง การเล่นครั้งแรก การวนซ้ำผ่านเอเจนต์หรือการตรวจสอบโดยมนุษย์ ตามด้วยการเขียนโค้ดใหม่

3. ขั้นตอนการเรียนรู้

4. ขั้นตอนการเผยแพร่

ขึ้นอยู่กับการกำหนดค่าของศิลปิน รวมถึงประเภทไฟล์สคริปต์ sonic pi ปกอัลบั้ม หนังสือเล่มเล็ก และการบันทึกเพลงเสริม

ผลลัพธ์สุดท้ายคือหนังสือเล่มเล็กที่มีปกอัลบั้ม (เป็นทางเลือกสำหรับการบันทึก ขึ้นอยู่กับการกำหนดค่าที่เลือก) และแน่นอนว่าเป็นแทร็กเพลงที่เข้ารหัสในไฟล์ *.rb

การใช้ตัวแทนเพลง

ข้อกำหนดเบื้องต้น

• Sonic Pi: ต้องติดตั้งบนระบบของคุณ (จำเป็นต้องเรียกใช้ไฟล์ *.rb): https://sonic-pi.net/
• ต้องติดตั้ง Python บนเครื่องของคุณ

โมเดล API

ตัวแทนเพลงทำงานได้ดีกับ OpenAI & Anthropic API (ปัจจุบัน Anthropic ไม่มีการสร้างภาพ ดังนั้นจึงไม่มีการสร้างปกอัลบั้ม) หากต้องการสลับระหว่างทั้งสอง ตรวจสอบให้แน่ใจว่าได้ตั้งค่าตัวแปรทั้งสองในไฟล์กำหนดค่าหรือตัวแปรสภาพแวดล้อม

• OPENAI_API_KEY: ตั้งค่าเป็นตัวแปรสภาพแวดล้อมของระบบหรือใน ArtistConfig/mITyJohn/ArtistConfig.json

  บน MAC:

   export OPENAI_API_KEY= '  '

  บน Windows (โดยใช้ PowerShell):

   $env :OPENAI_API_KEY= '  '

• ANTHROPIC_API_KEY: ตั้งค่าเป็นตัวแปรสภาพแวดล้อมของระบบหรือใน ArtistConfig/mITyJohn/ArtistConfig.json

  บน MAC:

   export ANTHROPIC_API_KEY= '  '

  บน Windows (โดยใช้ PowerShell):

   $env :ANTHROPIC_API_KEY= '  '

การติดตั้ง

 # Clone the repository
git clone [repository link]

# Install dependencies
pip install -r requirements.txt

เนื่องจากการพึ่งพามานุษยวิทยา คุณจะต้องติดตั้ง RUST ด้วย: https://www.rust-lang.org/tools/install

การกำหนดค่า

ตั้งค่า OPENAI_API_KEY ใน ArtistConfig/mITyJohn/ArtistConfig.json หากไม่ได้ตั้งค่าเป็นตัวแปรระบบ ปรับการตั้งค่าใน ArtistConfig.json ตามต้องการ

ตามค่าเริ่มต้น ศิลปิน mITyJohn จะทำงานโดยใช้สายโซ่พื้นฐานของการสร้างสรรค์ดนตรี แต่ถ้าคุณต้องการการประเมิน sonic pi เพิ่มเติม หรือแม้แต่เริ่มการบันทึก คุณสามารถเลือกจากการกำหนดค่าเอเจนต์อื่นๆ= ได้

• Eval: จะประเมินรหัส sonic pi ของคุณผ่านอินสแตนซ์ sonic pi ที่ทำงานบนเครื่องของคุณ
• เต็ม: จะประเมินรหัส sonic pi ของคุณผ่านอินสแตนซ์ sonic pi ที่ทำงานบนเครื่องของคุณ แต่จะเริ่มการบันทึกด้วย (ปัจจุบันมีเฉพาะในเครื่อง windows เท่านั้น)
• ศิลปะ: จำกัดการสร้างปกอัลบั้มตามการกำหนดค่าของศิลปิน (ไม่มีการสร้างเพลง)

สำหรับสายโซ่ขยายเหล่านี้ จำเป็นต้องมีการตั้งค่าเพิ่มเติม:

1. เปิด Sonic Pi บนเครื่องของคุณ
2. ปรับ ArtistConfig.json ด้วยการแก้ไข sonic_pi_IP & sonic_pi_port (สามารถพบได้ใน Soni Pi IDE ผ่านเมนู> IO) ตรวจสอบว่าอนุญาตให้ใช้ข้อความ OSC ขาเข้า
3. คัดลอกและเรียกใช้โค้ดต่อไปนี้ (จำเป็นต้องใช้งานก่อนที่จะเริ่ม MusicAgent)

e osc_send '127.0.0.1', 4559, '/feedback', e.message end end">

live_loop :listen do
  use_real_time
  script = sync " /osc*/run-code "
  
  begin
    eval script[0]
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , ' MusicAgent Code was executed successfully '
  rescue Exception = > e
    osc_send ' 127.0.0.1 ' , 4559, ' /feedback ' , e.message
  end
end

หรือเพียงแค่โหลด Sonicpi/Setup/recording.rb ใน Sonic PI ของคุณ

4. เมื่อเปิดตัวแล้ว คุณจะสังเกตเห็นว่าผู้ฟังในคิวของคุณกำลังเปิดตัว สิ่งนี้จะทำให้ Sonic Pi สามารถเล่นไฟล์เพลงของคุณและส่งข้อเสนอแนะไปยัง MusicAgent

เรียกใช้ MusicAgent

MusicAgent สามารถเรียกใช้ได้ 2 วิธี: ผ่าน CLI หรือผ่านเว็บแอปพลิเคชัน

แอปพลิเคชันเว็บ

การเรียกใช้เว็บแอปพลิเคชันจะช่วยให้คุณสามารถโต้ตอบกับ MusicAgent ผ่านทางเว็บอินเตอร์เฟสได้

python app.py

แอปนี้จะแสดงภาพขั้นตอนต่างๆ ของกระบวนการสร้างเพลง และช่วยให้คุณสามารถโต้ตอบกับ MusicAgent ได้ คุณยังสามารถสนทนาผ่านแชทกับตัวแทนต่างๆ ได้อีกด้วย

นอกจากนี้ คุณสามารถตรวจสอบเวอร์ชันต่างๆ ของ Sonic Pi ได้ โดยส่งไปยัง Sonic PI IDE ได้ด้วย

ข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับวิธีใช้แอปพลิเคชันเว็บ Music Agent สามารถพบได้ในแอป Music Agent README

คลีไอ

การรัน CLI จะทำให้คุณสามารถโต้ตอบกับ MusicAgent ผ่านทางบรรทัดคำสั่งได้

python run.py

เมื่อเปิดตัวแล้ว คุณจะสามารถผ่านเกณฑ์ต่างๆ ได้:

• เลือกโมเดล AI เมื่อได้รับแจ้ง: "gpt-3.5-turbo", "gpt-4" ฯลฯ
• ระบุรายละเอียดเพลง: ชื่อ ระยะเวลา สไตล์
• เลือกที่จะเพิ่มคำขอเฉพาะ เช่น ความก้าวหน้าของคอร์ดหรืออิทธิพลทางดนตรี

ตัวอย่าง Sonic PI สามารถพบได้ในโฟลเดอร์ 'SonicPi/Examples'

เอาท์พุต

MusicAgent จะสร้างสิ่งต่อไปนี้ในโฟลเดอร์เพลงในไดเร็กทอรีย่อยที่เรียกตามชื่อแทร็ก:

• ไฟล์แทร็กที่สร้าง: ไฟล์ *.rb สามารถพบได้ในไดเร็กทอรีเพลง หากต้องการเล่นเพลงของคุณ เพียงโหลดไฟล์ใน SONIC PI
  • เมื่อใช้การกำหนดค่า "ศิลปินเต็มรูปแบบ" ไฟล์การบันทึก WAV จะถูกสร้างขึ้นเพิ่มเติม (โดยไม่ต้องโหลดใน sonic Pi หลังจากนั้น)
• หนังสือเล่มเล็กที่มีภาพหน้าปก (ซึ่งอยู่ในไดเรกทอรีย่อยเดียวกัน) เนื้อเพลง และข้อมูลทางเทคนิคเพิ่มเติมเกี่ยวกับการตั้งค่าแทร็ก
• ไฟล์บันทึกของ Music Agent หากโค้ดติดตามสูญหายหรือไม่สมบูรณ์ คุณสามารถตรวจสอบบันทึกได้

หากคุณใช้การกำหนดค่า mITyJohn_Full เมื่อเรียกใช้ตัวแทน และอุปกรณ์บันทึกของคุณได้รับการกำหนดค่าอย่างถูกต้อง (เฉพาะบน Windows ในปัจจุบัน) การบันทึกจะถูกสร้างขึ้นโดยอัตโนมัติ

เกี่ยวกับ

Music Agent ได้รับการพัฒนาโดย mITyJohn โปรเจ็กต์นี้เป็นโอเพ่นซอร์สและพร้อมใช้งานบน GitHub สำหรับชุมชนสำหรับการสนับสนุนและการปรับปรุง (เพียงเพราะมันสนุก!)