BeatLearning

Mengalahkan Pembelajaran

Pernahkah Anda ingin memainkan lagu yang tidak tersedia di permainan ritme favorit Anda? Pernahkah Anda ingin memainkan variasi lagu itu tanpa batas?

Proyek penelitian Open Source ini bertujuan untuk mendemokratisasi proses pembuatan beatmap otomatis, menawarkan alat dan model dasar yang dapat diakses oleh pengembang, pemain, dan penggemar game, membuka jalan bagi era baru kreativitas dan inovasi dalam permainan ritme.

Contoh (selengkapnya segera hadir):

• Quixotic - Konser Langsung (media OSU)
• Quixotic - Turbo Interceptor (OSU keras)
• S3RL Ft Kayliana - You Are Mine (OSU hard)
• Yooh - Kebahagiaan Bising [Yooh Remix]

Cara Menggunakan

Pertama-tama Anda perlu menginstal Python 3.12, masuk ke direktori repositori dan membuat lingkungan virtual melalui:

 python3 -m venv venv

Kemudian hubungi source venv/bin/activate atau venvScriptsactivate jika Anda menggunakan mesin Windows. Setelah lingkungan virtual diaktifkan, Anda dapat menginstal perpustakaan yang diperlukan melalui:

 pip3 install -r requirements.txt

Anda dapat menggunakan Jupyter untuk mengakses contoh notebooks/ :

 jupyter notebook

Anda juga dapat mencoba versi Google Collab, selama Anda memiliki instance GPU yang tersedia (CPU default memerlukan waktu lama untuk mengonversi lagu).

Pipeline ini hanya mendukung beatmap OSU saat ini.

Cara Berkontribusi & Peta Jalan

Repositori ini masih dalam tahap PEKERJAAN . Tujuannya adalah untuk mengembangkan model generatif yang mampu secara otomatis menghasilkan beatmap untuk beragam permainan ritme, apa pun lagunya. Penelitian ini masih berlangsung, namun tujuannya adalah untuk mengeluarkan MVP secepat mungkin.

Semua kontribusi dihargai, terutama dalam bentuk donasi komputasi untuk model landasan pelatihan. Jadi, jika Anda tertarik, silakan ikut serta!

1. Membantu membuat model lebih mudah digunakan

• Menyederhanakan pembuatan beatmap melalui Notebook / Kolab / Spasi / Aplikasi Gradio dll.
• Tambahkan setup.py yang tepat dan izinkan lebih banyak cara untuk membuat lingkungan virtual/melakukan containerisasi
• Integrasi yang lebih baik dengan HuggingFace (memperluas kelas model untuk memuat/menyimpan lebih lancar)
• Tambahkan tes autoamtic dan kait github, siapkan produksi kode + tambahkan dokumentasi yang lebih detail
• Visualisasikan bobot perhatian dan embeddings

2. Mendukung lebih banyak Permainan Irama

• Meningkatkan generator beatmap OSU yang sedang dalam proses (hanya peta OSU dan objek HIT sederhana yang didukung, tanpa slider apa pun saat ini) + mendukung pembuatan peta Taiko dan Mania
• Mendukung permainan ritme tambahan (saat ini modelnya terbatas pada permainan ritme dengan 1, 2 atau 4 track, jadi game seperti Guitar Hero dengan 5 track harus menunggu), terapkan konverter yang bekerja dua arah

3. Latih Model yang Lebih Besar dan Lebih Baik dengan Lebih Banyak Data dan Komputasi

Bergabunglah bersama kami dalam mengeksplorasi kemungkinan tak terbatas dari pembuatan beatmap berbasis AI dan membentuk masa depan permainan ritme!

Model tersedia di HuggingFace.

BERUANG

Beatmap permainan ritme pada awalnya diubah menjadi format file perantara, yang kemudian diberi token menjadi potongan-potongan 100 ms. Setiap token mampu mengkodekan hingga dua peristiwa berbeda dalam periode waktu ini (penangguhan dan/atau hit) yang dikuantisasi hingga akurasi 10 ms. Kosakata tokenizer telah dihitung sebelumnya dan bukan dipelajari dari data untuk memenuhi kriteria ini. Panjang konteks dan ukuran kosa kata sengaja dibuat kecil karena kurangnya contoh pelatihan berkualitas di lapangan.

Token ini, bersama dengan potongan data audio (Spektogram Mel yang diproyeksikan selaras dengan token), berfungsi sebagai masukan untuk model pembuat enkode bertopeng. Mirip dengan BeRT, model encoder memiliki dua tujuan selama pelatihan: memperkirakan tempo melalui tugas regresi dan memprediksi token yang disamarkan (berikutnya) melalui fungsi gangguan pendengaran . Beatmap dengan 1, 2, dan 4 track didukung. Setiap token diprediksi dari kiri ke kanan, mencerminkan proses pembuatan arsitektur dekoder. Namun, token bertopeng juga memiliki akses ke informasi audio tambahan dari masa depan, yang ditandai sebagai token tinjauan ke masa depan dari kanan.

Legal

Tujuan model AI ini bukan untuk mendevaluasi beatmap yang dibuat secara individual, melainkan:

1. Untuk membantu pembuat peta dalam menghasilkan beatmap baru secara efisien.
2. Untuk membantu pengembang kecil dalam membuat konten untuk permainan ritme mereka dengan mudah.
3. Untuk meningkatkan eksposur artis musik indie dengan memasukkan karya mereka ke dalam video game.

Semua konten yang dihasilkan harus mematuhi peraturan UE dan diberi label yang sesuai, termasuk metadata yang menunjukkan keterlibatan model AI.

PEMBUATAN BEATMAPS UNTUK MATERI YANG BERHAK CIPTA DILARANG KERAS! HANYA GUNAKAN LAGU YANG HAKNYA ANDA PUNYA!

Audio yang ditampilkan dalam contoh file OSU berasal dari artis yang terdaftar di situs web OSU pada bagian artis unggulan dan dilisensikan untuk digunakan secara khusus dalam konten terkait osu!.

Untuk mencegah beatmap Anda digunakan sebagai data pelatihan di masa mendatang, sertakan metadata berikut dalam file beatmap Anda:

 robots: disallow

Terima kasih khusus

Proyek ini mengambil inspirasi dari upaya sebelumnya yang dikenal sebagai AIOSU.
Selain mengandalkan wiki OSU, osu-parser juga berperan penting dalam memperjelas deklarasi beatmap (terutama slider). Model transformator dipengaruhi oleh NanoGPT dan implementasi BerRT pytorch.