Editor Downcodes mengetahui bahwa para peneliti dari School of Data Science di Musashino University baru-baru ini membuat terobosan besar dan mengembangkan algoritma baru yang disebut AMT-APC, yang secara otomatis dapat menghasilkan musik piano dengan lebih akurat. Teknologi ini didasarkan pada model Transkripsi Musik Otomatis (AMT). Melalui penyempurnaan yang cerdas, teknologi ini secara signifikan meningkatkan tingkat kualitas suara dan ekspresi musik piano yang dihasilkan, mengatasi masalah fidelitas dan performa kualitas suara pada musik piano otomatis generasi sebelumnya. hambatan seperti kurangnya daya. Inovasi algoritma ini terletak pada strategi dua langkahnya yang unik: pertama, model AMT yang telah dilatih sebelumnya digunakan untuk menangkap berbagai detail suara dalam musik, dan kemudian disempurnakan melalui kumpulan data berpasangan yang berisi audio musik asli dan piano. file MIDI performa. Hasilnya adalah versi performa piano yang lebih mirip dengan gaya lagu aslinya. Selain itu, peneliti juga memperkenalkan konsep “vektor gaya” untuk lebih meningkatkan ekspresi musik piano yang dihasilkan.
Untuk waktu yang lama, teknologi untuk menghasilkan musik piano secara otomatis menghadapi tantangan kurangnya fidelitas dan ekspresi kualitas suara. Model yang ada seringkali hanya dapat menghasilkan melodi dan ritme sederhana, dan tidak dapat menangkap kekayaan detail dan emosi dalam lagu aslinya.
Algoritme AMT-APC mengambil pendekatan yang berbeda. Algoritme AMT-APC pertama-tama menggunakan model AMT yang telah dilatih sebelumnya untuk "menangkap" berbagai suara dalam musik secara akurat, dan kemudian menerapkannya pada tugas performa piano otomatis (APC) melalui penyempurnaan.
Inti dari algoritma AMT-APC terletak pada strategi dua langkah:
Langkah pertama: pra-pelatihan. Para peneliti memilih model AMT berperforma tinggi yang disebut hFT-Transformer sebagai dasar dan melatihnya lebih lanjut menggunakan kumpulan data MAESTRO, sehingga mampu memproses klip musik yang lebih panjang.
Langkah 2: Menyempurnakan. Para peneliti membuat kumpulan data berpasangan yang berisi file MIDI audio musik asli dan performa piano, dan menggunakan kumpulan data ini untuk menyempurnakan model AMT sehingga dapat menghasilkan versi performa piano yang lebih konsisten dengan gaya musik aslinya. .
Agar musik piano yang dihasilkan lebih ekspresif, peneliti juga memperkenalkan konsep yang disebut “vektor gaya”. Vektor gaya adalah sekumpulan fitur yang diambil dari setiap versi permainan piano, termasuk distribusi laju permulaan nada, distribusi kecepatan, dan distribusi nada. Dengan memasukkan vektor gaya ke dalam model bersama dengan audio musik asli, algoritma AMT-APC mampu mempelajari gaya permainan yang berbeda dan merefleksikannya dalam musik piano yang dihasilkan.
Hasil percobaan menunjukkan bahwa dibandingkan dengan model permainan piano otomatis yang ada, musik piano yang dihasilkan oleh algoritma AMT-APC memiliki peningkatan yang signifikan dalam kualitas suara yang akurat dan ekspresif. Dengan menggunakan metrik yang disebut Qmax untuk mengevaluasi kemiripan antara lagu asli dan audio yang dihasilkan, model AMT-APC mencapai nilai Qmax terendah, yang berarti lebih mampu mengembalikan karakteristik lagu aslinya.
Studi ini menunjukkan bahwa AMT dan APC merupakan tugas yang sangat terkait, dan menggunakan hasil penelitian AMT yang ada dapat membantu kita mengembangkan model APC yang lebih maju. Di masa depan, para peneliti berencana untuk mengeksplorasi lebih jauh model AMT yang lebih cocok untuk aplikasi APC, guna mencapai permainan piano otomatis yang lebih realistis dan ekspresif.
Alamat proyek: https://misya11p.github.io/amt-apc/
Alamat makalah: https://arxiv.org/pdf/2409.14086
Keberhasilan algoritma AMT-APC telah membawa kemungkinan-kemungkinan baru dalam bidang pembuatan musik otomatis, dan juga menunjukkan bahwa teknologi pembuatan musik otomatis yang lebih realistis dan ekspresif akan hadir di masa depan. Kami menantikan para peneliti di masa depan untuk terus mengeksplorasi dasar ini dan memberi kami lebih banyak kejutan!