Pembuatan adegan game selalu menjadi tantangan utama dalam bidang pengembangan game. Cara mendobrak keterbatasan skenario yang ada dan menciptakan dunia game yang lebih beragam dan inovatif adalah arah yang terus dijajaki oleh para pengembang. Baru-baru ini, Universitas Hong Kong dan Kuaishou Technology berkolaborasi mengembangkan kerangka inovatif bernama GameFactory, yang memberikan ide baru untuk memecahkan masalah ini. Kerangka kerja ini menggunakan teknologi model difusi video yang canggih, dikombinasikan dengan strategi pelatihan tiga tahap yang unik, untuk menghasilkan adegan game yang baru dan beragam, sehingga secara signifikan meningkatkan efisiensi dan kreativitas pembuatan video game.
Di bidang pengembangan game, keragaman dan inovasi skenario selalu menjadi masalah yang sulit. Baru-baru ini, Universitas Hong Kong dan Kuaishou Technology bersama-sama mengembangkan kerangka kerja inovatif yang disebut GameFactory, yang bertujuan untuk memecahkan masalah generalisasi adegan dalam pembuatan video game. Kerangka kerja ini memanfaatkan model difusi video terlatih yang dapat dilatih pada data video domain terbuka untuk menghasilkan skenario permainan yang baru dan beragam.
Sebagai teknologi generasi maju, model difusi video telah menunjukkan potensi besar di bidang pembuatan video dan simulasi fisik dalam beberapa tahun terakhir. Model ini dapat merespons masukan pengguna, seperti keyboard dan mouse, seperti alat pembuatan video, dan kemudian menghasilkan adegan permainan yang sesuai. Namun, generalisasi adegan, yang mengacu pada kemampuan untuk membuat skenario permainan yang benar-benar baru di luar skenario yang sudah ada, masih menjadi tantangan besar di bidang ini. Meskipun mengumpulkan kumpulan data video beranotasi tindakan dalam jumlah besar merupakan cara langsung untuk mengatasi masalah ini, metode ini memakan waktu dan tenaga, terutama tidak praktis dalam skenario domain terbuka.
Kerangka GameFactory diluncurkan untuk mengatasi masalah ini. Melalui model difusi video yang telah dilatih sebelumnya, GameFactory mampu menghindari ketergantungan yang berlebihan pada kumpulan data game tertentu dan mendukung pembuatan skenario game yang beragam. Selain itu, untuk menjembatani kesenjangan antara pengetahuan sebelumnya domain terbuka dan kumpulan data game terbatas, GameFactory juga mengadopsi strategi pelatihan tiga tahap yang unik.
Pada tahap pertama, LoRA (adaptasi peringkat rendah) digunakan untuk menyempurnakan model yang telah dilatih sebelumnya agar dapat mengadaptasinya ke domain game tertentu sambil mempertahankan parameter aslinya. Tahap kedua membekukan parameter pra-pelatihan dan berfokus pada pelatihan modul kontrol gerak untuk menghindari kebingungan antara gaya dan kontrol. Terakhir, pada tahap ketiga, bobot LoRA dihilangkan dan parameter modul kontrol gerak dipertahankan, sehingga sistem dapat menghasilkan video game terkontrol dalam berbagai skenario domain terbuka.
Para peneliti juga mengevaluasi efektivitas mekanisme kontrol yang berbeda dan menemukan bahwa mekanisme perhatian silang bekerja lebih baik ketika memproses sinyal kontrol diskrit seperti input keyboard, sedangkan metode splicing bekerja lebih baik ketika memproses sinyal gerakan mouse. GameFactory juga mendukung kontrol gerakan autoregresif, memungkinkan pembuatan video gameplay interaktif dengan durasi tak terbatas. Selain itu, tim peneliti juga merilis kumpulan data video anotasi tindakan berkualitas tinggi GF-Minecraft untuk pelatihan dan evaluasi kerangka kerja.
Makalah: https://arxiv.org/abs/2501.08325
Menyorot:
Kerangka kerja GameFactory dikembangkan bersama oleh Universitas Hong Kong dan Kuaishou Technology untuk memecahkan masalah generalisasi adegan dalam pembuatan video game.
Kerangka kerja ini menggunakan model difusi video yang telah dilatih sebelumnya untuk menghasilkan beragam skenario permainan dan mengadopsi strategi pelatihan tiga tahap untuk meningkatkan efeknya.
Para peneliti juga merilis kumpulan data video anotasi tindakan GF-Minecraft untuk mendukung pelatihan dan evaluasi GameFactory.
Munculnya kerangka kerja GameFactory telah membawa kemungkinan-kemungkinan baru dalam pengembangan game. Kemampuan pembuatan adegan yang efisien dan kemampuan beradaptasi domain terbuka akan sangat mendorong perkembangan industri game dan memberikan pengalaman bermain game yang lebih berwarna kepada para pemain. Di masa depan, kami berharap kerangka GameFactory ditingkatkan lebih lanjut untuk menyediakan alat yang lebih canggih bagi pengembang game.