Editor Downcodes mengetahui bahwa proyek sumber terbuka bernama Ultralight-Digital-Human menyebabkan diskusi hangat di GitHub! Proyek ini telah membuat terobosan dalam memecahkan masalah penerapan teknologi manusia digital pada terminal seluler, memungkinkan ponsel pintar biasa menjalankan aplikasi manusia digital dengan lancar, menurunkan ambang batas penerapan teknologi manusia digital, dan membawa peluang yang belum pernah terjadi sebelumnya untuk mempopulerkannya. Hal ini akan berdampak besar pada pengembangan aplikasi seluler, serta AR/VR dan bidang lainnya.
Baru-baru ini, sebuah proyek sumber terbuka bernama Ultralight-Digital-Human telah menarik perhatian luas di komunitas pengembang. Proyek ini berhasil memecahkan masalah penerapan teknologi manusia digital pada terminal seluler, memungkinkan ponsel pintar biasa menjalankan aplikasi manusia digital secara real-time, sehingga membawa kemungkinan baru dalam mempopulerkan teknologi terkait.
Model manusia digital yang sangat ringan ini menggunakan teknologi pembelajaran mendalam yang inovatif, dan melalui optimalisasi algoritme dan kompresi model, model ini telah berhasil merampingkan sistem manusia digital yang sangat besar hingga dapat berjalan dengan lancar di perangkat seluler. Sistem ini mendukung pemrosesan input video dan audio secara real-time, dan dapat dengan cepat mensintesis gambar manusia digital dengan respons cepat dan pengoperasian yang lancar.
Dalam hal implementasi teknis, proyek ini mengintegrasikan dua solusi ekstraksi fitur audio, Wenet dan Hubert, dan pengembang dapat secara fleksibel memilih sesuai dengan skenario aplikasi tertentu. Pada saat yang sama, melalui pengenalan teknologi jaringan sinkronisasi (syncnet), efek sinkronisasi bibir manusia digital meningkat secara signifikan. Untuk memastikan kelancaran pengoperasian pada perangkat seluler, tim pengembangan mengadopsi teknologi pemangkasan parameter selama proses pelatihan dan penerapan, yang secara efektif mengurangi kebutuhan sumber daya komputasi.
Sorotan lain dari proyek ini adalah dokumentasi lengkap dari proses pelatihan. Pengembang hanya perlu menyiapkan video wajah berkualitas tinggi berdurasi 3-5 menit dan mengikuti pedoman untuk mulai melatih model manusia digital mereka sendiri. Persyaratan video sistem juga sangat jelas. Mode Wenet memerlukan frame rate 20fps, sedangkan mode Hubert membutuhkan 25fps.
Untuk memastikan efek pelatihan, tim proyek secara khusus mengingatkan pengembang untuk memperhatikan tautan utama berikut: model pra-pelatihan yang dipilih sebagai dasar; memastikan kualitas data pelatihan; secara tepat waktu. Detail ini akan secara langsung mempengaruhi efek akhir manusia digital.
Saat ini, proyek open source ini telah menunjukkan potensi besar di berbagai bidang seperti aplikasi sosial, game seluler, dan realitas virtual. Dibandingkan dengan teknologi manusia digital tradisional, teknologi ini tidak hanya menurunkan ambang batas perangkat keras, namun juga mencapai kompatibilitas lintas platform dan dapat berjalan secara stabil di semua jenis ponsel cerdas.
Alamat proyek: https://github.com/anliyuan/Ultralight-Digital-Human
Proyek Ultralight-Digital-Human tidak diragukan lagi merupakan tonggak sejarah dalam pengembangan teknologi manusia digital, dan sifat open sourcenya juga memberikan lebih banyak peluang bagi pengembang untuk belajar dan berinovasi. Saya yakin akan ada lebih banyak aplikasi inovatif berdasarkan proyek ini di masa depan, mari kita tunggu dan lihat!