Transfer gaya saraf adalah teknik pengoptimalan yang digunakan untuk mengambil dua gambar - gambar konten dan gambar referensi gaya (seperti karya seni oleh pelukis terkenal) - dan memadukan keduanya sehingga gambar keluaran terlihat seperti gambar konten, namun “dicat” dalam gaya gambar referensi gaya.
Hal ini diterapkan dengan mengoptimalkan gambar keluaran agar sesuai dengan statistik konten gambar konten dan statistik gaya gambar referensi gaya. Statistik ini diekstraksi dari gambar menggunakan jaringan konvolusional.
Untuk menjalankan notebook, harap kloning repositori ini, mulai server notebook Jupyter di direktori yang benar, dan buka notebook bernama style_transfer_gan.ipynb . Buku catatan ini juga berisi kode untuk tutorial tentang cara kerja transfer gaya; kode untuk data dalam repo ini diselingi seluruhnya.
Untuk melihat kode StarGan, silahkan buka notebook bernama StarGAN_v2_celeb_face_synthesizer.ipynb .
Gaya seni yang kami gunakan dapat ditemukan di folder art-styles dan mencakup yang berikut ini:
Kami menggunakan tiga wajah selebriti untuk buku catatan transfer gaya asli: celebrity-faces/male/the-weeknd.jpg , celebrity-faces/male/wesley-snipes.jpg , dan celebrity-faces/female/lady-gaga.jpg .
Untuk notebook StarGAN, kami menggunakan foto pilihan dari dataset Celeb A-HQ. Ini adalah foto-foto yang tersisa di direktori celebrity-faces/ .
Bagian ini akan mengeksplorasi pekerjaan di style_transfer_gan.ipynb . Untuk memahami bagaimana kinerja transfer gaya saraf pada wajah yang berbeda, kami memasukkan beberapa gambar konten (wajah) melalui model kami dan memilih tiga yang kami putuskan akan memberikan perbedaan yang cukup dalam warna kulit dan struktur wajah. Untuk setiap wajah, kami menggunakan 10 gaya seni yang tercantum di atas sebagai gambar referensi gaya kami. Tren umum yang kami perhatikan adalah gaya yang lebih mirip dengan wajah seseorang dan latar belakang gambarnya memberikan hasil yang lebih baik daripada gaya yang sangat berbeda.
Untuk The Weeknd, kami memilih gambar yang diambil setelah dia menjalani operasi plastik, sehingga memberinya struktur wajah yang sangat berbeda. Dalam kasusnya, kami melihat bahwa gaya yang sama-sama berbeda dari norma, seperti kubisme atau surealisme, memberikan hasil yang lebih baik dibandingkan gaya seperti klasisisme (lihat di bawah).
Hasil Surealisme vs. Klasisisme di wajah The Weeknd
Demikian pula, karena warna kulit Wesley Snipes lebih gelap dan warna latar belakang gambar aslinya juga lebih kalem, gaya dengan corak serupa menjadi lebih akurat. Bandingkan hasil kubisme dan fauvisme di bawah ini:
Hasil Kubisme vs. Fauvisme di wajah Wesley Snipes
Namun, hasil yang diperoleh Lady Gaga jauh lebih merata. Sebagian besar gaya masih mampu menangkap beberapa detail wajahnya tanpa menimbulkan banyak kerugian. Seperti yang Anda lihat, fauvisme - yang tidak cocok dengan wajah Wesley Snipes - bekerja jauh lebih baik di sini.
Hasil Fauvsim vs. Klasisisme di wajah Lady Gaga
Ada banyak alasan mengapa wajah Lady Gaga bisa memberikan hasil yang lebih baik secara umum, namun penjelasan yang mungkin adalah data yang digunakan untuk melatih model transfer gaya. Jika model diberikan lebih banyak wajah berkulit putih dalam pelatihan, kemungkinan besar model tersebut akan berperforma lebih baik dengan wajah berkulit putih dalam pengujian.
Bagian ini akan mengeksplorasi pekerjaan di StarGAN_v2_celeb_face_synthesizer.ipynb . StarGAN v2, model terjemahan gambar yang dikembangkan oleh Clova AI mempelajari pemetaan antara gambar yang berbeda. Kami menggunakan jaringan Star GAN yang telah dilatih sebelumnya dengan kumpulan data CelebA-HQ serta kumpulan wajah selebriti dari berbagai jenis kelamin, warna kulit, fitur wajah, dan modifikasi wajah/tubuh (tato, dan operasi plastik) sebagai kumpulan data gambar sumber kami, dan dataset CelebA-HQ sebagai dataset gambar referensi kami. Kumpulan data sumber kami dibagi menjadi dua domain: perempuan dan laki-laki
Berikut ini adalah daftar gambar sumber yang kami pilih untuk disintesis.
| Rochelle Humes | Ariana Grande | Nyonya Gaga | Jenifer Lawrence |
|---|---|---|---|
 |  |  |  |
| Chris Hemsworth | Mike Tyson | Donald Trump | Akhir Pekan | Wesley Snipes |
|---|---|---|---|---|
 |  |  |  |  |
Kami mengubah semua gambar yang dipilih dengan memotong gambar dengan rasio kira-kira 1:1, dengan wajah di tengah, dan menempati sebagian besar gambar. Kami kemudian menyempurnakan gambar untuk rotasi dan pemotongan tambahan menggunakan alat bawaan yang disediakan oleh Clova AI. Terakhir, kami memasukkan gambar-gambar yang disempurnakan ini ke jaringan StarGAN yang telah dilatih sebelumnya dan menghasilkan gambar keluaran yang disintesis.
Hasil kami menunjukkan bahwa fitur wajah yang berbeda seperti garis rahang dan bibir yang kuat disebarkan ke berbagai jenis kelamin dan warna kulit ke dalam gambar yang dihasilkan/dihasilkan. Untuk wajah seperti The Weeknd yang telah menjalani modifikasi wajah (misalnya operasi plastik) Kami melihat fitur-fitur ini juga tetap berbeda pada gambar yang dihasilkan. Namun gambar yang dihasilkan tidak begitu realistis Seperti yang diharapkan, fitur tingkat tinggi seperti gaya rambut, tata rias, janggut, dan warna kulit diikuti dari gambar referensi. Namun fitur lain seperti tato tampaknya tetap dipertahankan dari gambar sumber. Demikian pula, Model mempertahankan pose dan identitas gambar sumber di sebagian besar gambar keluaran.
Hasil percobaan kami ditunjukkan di bawah ini 
