Tim peneliti Alibaba Damo Academy menerbitkan makalah berjudul "SHMT: Self-supervised Hierarchical Makeup Transfer" pada konferensi NeurIPS 2024. Penelitian tersebut mengusulkan teknologi transfer efek riasan baru. Teknologi ini menggunakan Model Difusi Laten untuk menghasilkan gambar riasan secara akurat, dan memiliki prospek penerapan yang bagus di bidang aplikasi riasan dan pemrosesan gambar. Model SHMT hanya memerlukan gambar referensi riasan dan foto orang yang dituju untuk mentransfer efek riasan ke wajah target, sehingga sangat menyederhanakan proses pengeditan dan penerapan efek riasan. Tim telah membuat kode pelatihan, kode pengujian, dan model terlatih menjadi sumber terbuka untuk memfasilitasi penelitian dan pengembangan lebih lanjut oleh para peneliti.
Baru-baru ini, tim peneliti dari Alibaba Damo Academy merilis hasil penelitian penting yang disebut "SHMT: Self-supervised Hierarchical Makeup Transfer". Makalah ini telah diterima oleh konferensi akademik internasional terkemuka NeurIPS2024. Penelitian ini mendemonstrasikan teknologi transfer efek riasan baru yang menggunakan model difusi laten (Latent Diffusion Models) untuk mencapai pembuatan gambar riasan yang akurat, memberikan vitalitas baru ke dalam bidang penerapan riasan dan pemrosesan gambar.
Sederhananya, SHMT adalah teknologi transfer riasan, selama gambar referensi riasan dan foto karakter target digunakan, efek riasan dapat ditransfer ke wajah target.
Tim mengadopsi pendekatan sumber terbuka dalam proyek ini dan merilis kode pelatihan, kode pengujian, dan model pra-pelatihan, sehingga memudahkan peneliti untuk melakukan penelitian dan pengembangan terkait.
Selama proses pembuatan model, tim merekomendasikan pengguna untuk membuat lingkungan conda bernama "ldm" dan menyelesaikan penyiapan dengan cepat melalui file lingkungan yang disediakan. Selain itu, VQ-f4 dipilih sebagai model autoencoding terlatih dalam penelitian ini. Pengguna perlu mengunduhnya dan memasukkannya ke dalam folder pos pemeriksaan yang ditentukan untuk memulai inferensi dengan lancar.
Persiapan data adalah kunci keberhasilan pengoperasian model SHMT. Tim peneliti merekomendasikan untuk mengunduh kumpulan data transfer riasan yang disediakan oleh “BeautyGAN” dan mengintegrasikan berbagai gambar riasan dan non-riasan. Pada saat yang sama, persiapan penguraian wajah dan data wajah 3D juga penting, dan alat serta jalur data yang relevan dirinci dalam penelitian ini untuk memastikan bahwa pengguna dapat menyiapkan data secara efektif.
Dalam hal pelatihan model dan inferensi, tim peneliti menyediakan skrip baris perintah terperinci sehingga pengguna dapat menyesuaikan parameter sesuai kebutuhan mereka sendiri. Tim juga secara khusus menekankan pentingnya struktur data, dengan memberikan contoh struktur direktori yang jelas untuk memandu pengguna tentang cara menyiapkan data.
Peluncuran model SHMT menandai keberhasilan penerapan pembelajaran mandiri di bidang transfer efek riasan, dan mungkin digunakan secara luas di bidang kecantikan, kosmetik, pemrosesan gambar, dan industri lainnya di masa depan. Penelitian ini tidak hanya menunjukkan potensi teknologi, namun juga meletakkan dasar yang kuat untuk penelitian mendalam di bidang terkait.
Pintu masuk proyek: https://github.com/Snowfallingplum/SHMT
Highlight:
1. Model SHMT menggunakan model difusi laten untuk mencapai transfer efek riasan, dan telah diterima oleh NeurIPS2024.
2. Tim menyediakan kode sumber terbuka lengkap dan model terlatih untuk memfasilitasi penerapan dan peningkatan peneliti.
3. Persiapan data dan penyesuaian parameter sangat penting, dan studi ini memberikan panduan rinci mengenai proses operasi dan struktur direktori.
Secara keseluruhan, rilis open source model SHMT menyediakan alat dan sumber daya yang canggih untuk penelitian migrasi efek riasan, dan prospek penerapannya di bidang kecantikan, kosmetik, dan pemrosesan gambar patut dinantikan. Inovasi dan kepraktisan penelitian ini menjadikannya sebuah terobosan penting di lapangan dan meletakkan dasar yang kuat untuk penelitian terkait di masa depan.