ByteDance telah meluncurkan alat pembuatan musik baru, Seed-Music, yang seperti pesulap musik yang dapat menghasilkan musik berkualitas tinggi berdasarkan deskripsi teks, referensi audio, partitur musik, dan bahkan perintah suara. Seed-Music menggabungkan model bahasa autoregresif dan model difusi untuk memberikan pengguna kendali yang belum pernah terjadi sebelumnya atas pembuatan musik, baik itu lirik dan musik, adaptasi melodi, atau suara untuk menyanyi, Seed-Music dapat dengan mudah menanganinya. Editor Downcodes akan membawa Anda mempelajari lebih lanjut tentang model pembuatan musik yang menakjubkan ini.
Baru-baru ini, ByteDance merilis alat pembuatan musik baru bernama Seed-Music. Model pembuatan musik ajaib ini memungkinkan Anda menghasilkan musik dengan mudah melalui berbagai metode masukan (seperti deskripsi teks, referensi audio, partitur musik, dan bahkan perintah suara).
Seed-Music menggabungkan model bahasa autoregresif dan model difusi untuk tidak hanya menghasilkan karya musik berkualitas tinggi, tetapi juga memungkinkan Anda mengontrol detail musik secara tepat. Apakah Anda ingin lirik mengiringi musik, atau ingin mengadaptasi melodi, tidak ada masalah di sini. Anda bahkan dapat mengunggah klip suara pendek, dan sistem akan secara otomatis mengubahnya menjadi lagu lengkap, sehingga nyaman dan efisien.
Seed-Music yang kuat tidak hanya mendukung pembuatan musik vokal dan instrumental, tetapi juga mencakup serangkaian fungsi seperti sintesis suara nyanyian, konversi suara nyanyian, dan pengeditan musik, yang dapat memenuhi kebutuhan berbagai pengguna. Anda dapat menghasilkan pop melalui deskripsi teks sederhana, dan Anda juga dapat menyesuaikan gaya musik melalui perintah audio, yang sangat menyegarkan.
Yang lebih menarik adalah arsitektur Seed-Music dibagi menjadi tiga modul: modul pembelajaran representasi, modul pembangkitan, dan modul rendering, yang bekerja sama seperti sebuah band untuk menghasilkan musik berkualitas tinggi dari input multi-modal.
Modul pembelajaran representasi memampatkan sinyal audio asli menjadi tiga representasi perantara, cocok untuk tugas pembuatan dan pengeditan musik yang berbeda. Modul pembangkitan mengubah masukan pengguna menjadi representasi musik melalui model autoregresif dan model difusi. Modul rendering akhir bertanggung jawab untuk mengubah representasi perantara ini menjadi audio berkualitas tinggi yang dapat dinikmati telinga Anda.
Untuk memastikan kualitas musik, Seed-Music menggunakan berbagai teknologi: model bahasa autoregresif secara bertahap menghasilkan simbol audio, model difusi membuat musik lebih jelas melalui denoising, dan vocoder menerjemahkan "kode" musik ini ke dalam ketelitian tinggi yang dapat dibaca suara dimainkan.
Proses pelatihan Seed-Music juga sangat menarik, terbagi dalam tiga tahap: pra-pelatihan, fine-tuning, dan pasca-pelatihan. Melalui data musik berskala besar, model memperoleh kemampuan dasar, kemudian meningkatkan performa tugas tertentu melalui penyesuaian, dan akhirnya terus mengoptimalkan hasil yang dihasilkan melalui pembelajaran penguatan.
Alamat proyek: https://team.doubao.com/en/special/seed-music
Kemunculan Seed-Music tidak diragukan lagi telah membawa kemungkinan-kemungkinan baru dalam penciptaan musik. Pengoperasiannya yang mudah dan fungsinya yang kuat akan sangat menurunkan ambang batas penciptaan musik, memungkinkan lebih banyak orang untuk merasakan kegembiraan dalam penciptaan musik. Kami menantikan Seed-Music menghadirkan lebih banyak kejutan di masa depan!