Universitas Sun Yat-sen dan Tim Manusia Byte Digital telah bersama-sama mengembangkan kerangka uji coba virtual yang disebut MMTryon. Kerangka kerja ini dapat menghasilkan efek uji coba model berkualitas tinggi hanya dengan satu klik dengan memasukkan gambar pakaian dan instruksi teks tentang cara memakai Mendukung karakter kehidupan nyata dan komik, sangat menyederhanakan proses percobaan virtual. Teknologi ini mendobrak keterbatasan algoritma tradisional dan mencapai pemrosesan yang tepat dari adegan berpakaian yang rumit dan gaya pakaian yang berubah-ubah tanpa memerlukan segmentasi pakaian yang halus, sehingga sangat meningkatkan efisiensi dan kenyamanan.
Baru-baru ini, Universitas Sun Yat-sen dan Tim Manusia Byte Digital membuat berita besar. Mereka mengusulkan kerangka uji coba virtual yang disebut MMTryon. Hal ini tidak sederhana. Selama Anda memasukkan beberapa gambar pakaian dan menambahkan beberapa teks instruksi tentang cara memakainya, Anda dapat menghasilkan efek percobaan model dengan satu klik, dan kualitasnya sangat tinggi.
Bayangkan Anda memilih mantel, celana, dan tas, lalu dengan satu klik, semuanya secara otomatis dimasukkan ke dalam potret. Tidak peduli Anda orang sungguhan atau karakter komik, Anda dapat melakukannya dengan satu klik. Operasi ini terlalu keren!
Terlebih lagi, kekuatan MMTryon tidak berhenti sampai di situ. Dalam hal dandanan satu gambar, ia menggunakan sejumlah besar data untuk merancang encoder pakaian yang dapat menangani berbagai adegan dandanan yang rumit dan gaya pakaian apa pun. Sedangkan untuk kombinasi dandanan, hal ini mematahkan ketergantungan algoritma tradisional pada segmentasi pakaian yang halus. Hal ini dapat dilakukan dengan satu perintah teks, dan efek yang dihasilkan realistis dan alami.
Pada tes benchmark, MMTryon langsung memenangkan SOTA baru, dan hasil ini tidak bisa diabaikan. Tim peneliti juga mengembangkan mekanisme perhatian multi-modal multi-referensi untuk membuat efek ganti lebih akurat dan fleksibel. Solusi uji coba virtual sebelumnya hanya memungkinkan Anda mencoba satu item, atau Anda tidak berdaya mengenai gaya pakaiannya. Namun sekarang, MMTryon akan menyelesaikan semuanya untuk Anda.
Selain itu, MMTryon juga sangat cerdas. Ia menggunakan encoder pakaian dengan kemampuan representasi yang kaya, ditambah dengan proses pembuatan data baru yang dapat diskalakan, sehingga proses berpakaian tidak memerlukan segmentasi apa pun, dan dapat mencapai kinerja tingkat tinggi secara langsung melalui teks dan banyak lagi. objek percobaan.
Eksperimen ekstensif pada kumpulan data sumber terbuka dan skenario kompleks telah membuktikan bahwa MMTryon mengungguli metode SOTA yang ada baik secara kualitatif maupun kuantitatif. Tim peneliti juga melatih encoder pakaian terlebih dahulu, menggunakan teks sebagai kueri untuk mengaktifkan fitur area teks yang sesuai, menghilangkan ketergantungan pada segmentasi pakaian.
Yang lebih mengagumkan lagi adalah untuk melatih gabungan pergantian pakaian, tim peneliti mengusulkan model amplifikasi data berdasarkan model besar dan membangun 1 juta kumpulan data yang disempurnakan, memungkinkan MMTryon melakukan uji coba virtual nyata pada berbagai jenis pakaian ganti memengaruhi.
MMTryon seperti teknologi hitam di industri fashion. MMTryon tidak hanya membantu Anda mencoba pakaian dengan satu klik, tetapi juga berfungsi sebagai asisten tata rias mode untuk membantu Anda memilih pakaian. Dalam hal indikator kuantitatif dan evaluasi manusia, MMTryon melampaui model dasar lainnya dan memiliki hasil yang sangat baik.
Alamat makalah: https://arxiv.org/abs/2405.00448
Secara keseluruhan, MMTryon telah menunjukkan potensi penerapan yang besar di bidang fesyen dengan fungsi uji coba virtualnya yang efisien, akurat, dan nyaman, membawa perubahan revolusioner pada desain pakaian dan pengalaman berbelanja. Teknologi terdepan dan kinerjanya yang luar biasa menjadikannya tolok ukur baru di bidang uji coba virtual.