Face Shape Classification using CNN

Klasifikasi bentuk wajah

Ini adalah proyek klasifikasi gambar untuk mengidentifikasi 5 bentuk wajah wanita menggunakan Convolutional Neural Networks (CNN) . Saya menyelesaikan ini sebagai Proyek Capstone saya untuk Kursus Immersive Ilmu Data dengan Majelis Umum (Oktober 2020).

Proyek ini juga digunakan sebagai aplikasi web menggunakan Stremlit di Heroku. Jika Anda tertarik, periksa bentuk wajah Anda di myfaceshape.herokuapp.com

Pernyataan masalah

Berdasarkan Tinjauan Konsumen Deloitte, konsumen menuntut pengalaman yang lebih personal, namun uji coba tetap rendah. Dalam industri kecantikan dan mode, lebih dari 40%orang dewasa berusia 16-39 tertarik pada penawaran yang dipersonalisasi, sementara uji coba hanya 10%-14%. Di antara mereka yang tertarik, ~ 80% bersedia membayar setidaknya 10% lebih tinggi.

Dengan dapat mengklasifikasikan bentuk wajah akan memungkinkan merek untuk menawarkan solusi yang lebih personal untuk meningkatkan kepuasan pelanggan, sambil meningkatkan margin dari posisi premium. Contoh penggunaan kasus adalah:

• Konten yang dipersonalisasi (yaitu tip make-up, gaya rambut)
• Rekomendasi yang dipersonalisasi untuk make-up, kacamata/kacamata hitam, dan aksesori mode (yaitu anting-anting, kalung, topi, dll)
• Produk kecantikan khusus (yaitu topeng perawatan kulit wajah, palet make-up)

Untuk proyek ini, saya akan menggunakan pendekatan pembelajaran yang mendalam dengan Convolutional Neural Networks (CNN) untuk mengklasifikasikan 5 bentuk wajah wanita yang berbeda (jantung, lonjong, oval, bulat, persegi). Model yang merupakan skor akurasi tertinggi akan dipilih.

Ringkasan Eksekutif

Saya telah menjelajahi 2 pendekatan CNN dengan membangun dari awal vs. Trasfer Learning dengan arsitektur VGG-16 dan bobot terlatih dari VGGFACE. Pendekatan pembelajaran transfer membantu meningkatkan akurasi, sedangkan bentuk wajah yang paling salah diklasifikasikan adalah 'oval'.

Pra-pemrosesan gambar juga memainkan peran penting dalam mengurangi overfitting dan meningkatkan akurasi validasi. Driver utama adalah:

• Deteksi wajah menggunakan jaringan saraf konvolusional (MTCNN) multi-tugas untuk secara otomatis mendeteksi kotak pembatas di sekitar wajah. Ini membantu meningkatkan akurasi validasi dan mengurangi overfitting.
• Augmentasi gambar dengan membalik secara horizontal dan berputar +/- 20 derajat. Ini membantu meningkatkan akurasi dan mengurangi overfitting.

---

Pendekatan proyek

Data

Dataset bentuk wajah adalah dataset dari Kaggle oleh Niten Lama.

Dataset ini terdiri dari total 5000 gambar selebriti wanita dari seluruh dunia yang dikategorikan menurut bentuk wajah mereka yaitu:

• Jantung
• Bujur
• Bulat telur
• Bulat
• Persegi

Setiap kategori terdiri dari 1000 gambar (800 untuk pelatihan: 200 untuk pengujian)

Gambar pra-pemrosesan

Pra-pemrosesan gambar adalah faktor penting dalam mengurangi overfitting model ke dataset pelatihan, dan meningkatkan akurasi validasi. Langkah -langkah berikut telah dieksplorasi:

• Deteksi wajah untuk secara otomatis menemukan wajah pada gambar dan mengidentifikasi kotak pembatas di sekitar wajah untuk dipangkas. Saya menggunakan jaringan saraf convolutional multi-tascaded (MTCNN) sebagai detektor wajah. Referensi: Implementasi oleh IVán de Paz Centeno dalam proyek IPAZC/MTCNN.
• Augmentasi gambar untuk memperhitungkan pose yang berbeda (yaitu memiringkan kepala), saya menggunakan membalik horizontal serta berputar dengan +/- 20 derajat.
• Gambar warna RGB menambahkan lebih banyak dimensi untuk setiap data gambar (array 3D untuk array RGB vs 1D untuk skala abu -abu).

Pemodelan

Model CNN yang dibangun dari awal dengan data pelatihan terbatas dari 4000 gambar (800 gambar x 5 kelas), saya membangun model dengan 4 lapisan convolutional + max-pooling, dan 2 lapisan padat (detail di bawah).

Model CNN dengan Transfer Learning memungkinkan saya untuk menggunakan arsitektur VGG-16 yang lebih kompleks, dengan menggunakan bobot terlatih dari VGGFACE yang telah dilatih pada lebih dari 2,6 juta gambar.

• Arsitektur VGG -16 dirancang oleh Visual Geometry Group - University of Oxford, yang memenangkan penghargaan untuk klasifikasi gambar dan lokalisasi dari kompetisi Imagenet 2014
• Saya menggunakan bobot terlatih dari perpustakaan proyek keras-vggface oleh Refik Can Malli, yang didasarkan pada VGGFACE asli, sebelumnya nama pengakuan wajah yang dalam oleh Visual Geometry Group-University of Oxford

Evaluasi model

Pembelajaran transfer membantu meningkatkan akurasi secara signifikan, dari 76,9% menjadi 92,7%, dengan bantuan bobot pra-terlatih pada dataset yang lebih besar.

Dari model yang dibangun dari awal, semua model berkinerja lebih baik daripada baseline 20% (5 kelas seimbang dengan masing -masing 20%).

• Deteksi wajah (kotak pembatas) membantu meningkatkan akurasi vs mengubah ukuran dan memotong gambar.
• Augmentasi gambar membantu meningkatkan akurasi dan mengurangi overfitting.
• Gambar warna RGB sedikit membantu meningkatkan akurasi, namun dengan overfitting yang lebih tinggi.

Ringkasan semua model di bawah ini.

Kesalahan klasifikasi

Kedua model memiliki kesalahan klasifikasi tertinggi pada bentuk wajah oval . Meskipun model pembelajaran transfer meningkatkan keakuratan model yang dibangun dari awal, namun Oval masih yang paling salah diklasifikasikan, dengan mayoritas diklasifikasikan oval sebagai putaran. Menariknya, wajah bundar juga sebagian besar salah diklasifikasikan sebagai oval, meskipun kesalahan klasifikasi keseluruhan untuk bentuk wajah bundar rendah. Kebingungan antara oval dan bulat sebagian besar adalah wajah Asia, dan terlebih lagi dengan pembelajaran transfer. Ini kemungkinan karena bobot pretrained memiliki lebih sedikit gambar Asia.

Kesimpulan & Pembelajaran Kunci:

• Pra-pemrosesan gambar , terutama deteksi wajah dan augmentasi gambar, membantu meningkatkan akurasi dan mengurangi overfitting.
• Dengan kumpulan data terbatas (4000 gambar pelatihan), transfer pembelajaran menggunakan bobot pretrained pada dataset yang lebih besar (VGGFACE 2,6 juta gambar) dan arsitektur yang lebih kompleks (VGG16), secara signifikan membantu meningkatkan akurasi, mengurangi overfitting, dan waktu traing yang lebih cepat. Model CNN dari awal mencapai goresan Akurasi ~ 80%, sambil menggabungkan pembelajaran transfer menggunakan VGG-FACE meningkatkan akurasi menjadi lebih dari 90%.
• Mayoritas kesalahan klasifikasi adalah bentuk wajah oval, terutama wajah oval Asia diklasifikasikan sebagai bulat, kemungkinan karena model tersebut telah dipra -pretrain pada lebih sedikit gambar Asia.
• Saat menguji data yang tidak terlihat, deteksi wajah adalah langkah penting untuk mendorong keakuratan prediksi. Model berkinerja lebih baik pada gambar di mana kotak pembatas dapat dengan mudah dideteksi, namun tidak memprediksi dengan baik pada gambar bahwa wajah penuh tidak dapat dideteksi (yaitu wajah miring, mengenakan kacamata hitam, bagian wajah yang dipotong).