Face Shape Classification using CNN

臉型分類

這是一個圖像分類項目，可使用卷積神經網絡（CNN）識別5個女性面部形狀。我在大會上（2020年10月）完成了我的數據科學沉浸式課程的頂峰項目。

該項目還使用Heroku上的Stremlit部署為Web應用程序。如果您有興趣，請在myfaceshape.herokuapp.com上檢查您的臉部形狀

問題陳述

根據Deloitte消費者評論，消費者要求更多個性化的體驗，但是試驗仍然很低。在美容和時裝行業中，超過40％的16-39歲成年人對個性化報價感興趣，而試驗僅為10％-14％。在感興趣的人中，約有80％的人願意支付至少10％的價格。

通過能夠對面部形狀進行分類，將使品牌能夠提供更多個性化的解決方案，以提高客戶滿意度，同時從優質定位提高利潤率。用例的示例是：

• 個性化內容（即化妝技巧，髮型）
• 化妝，眼鏡/太陽鏡和時尚配飾的個性化建議（即耳環，項鍊，帽子等）
• 定制美容產品（例如面部護膚口罩，化妝餡餅）

對於這個項目，我將使用卷積神經網絡（CNN）的深度學習方法對5種不同的女性面部形狀（心臟，長方形，橢圓形，圓形，正方形）進行分類。將選擇最高精度得分的模型。

執行摘要

我已經通過VGG-16體系結構和VGGFACE預先訓練的權重構建了CNN的2種方法。轉移學習方法有助於提高準確性，而最不分類的面部形狀為“橢圓形”。

圖像預處理在降低過度擬合和提高驗證精度方面也起著重要作用。主要驅動力是：

• 使用多任務級聯卷積神經網絡（MTCNN）進行面部檢測，以自動檢測面部周圍的邊界框。這有助於提高驗證精度並降低過度擬合。
• 通過水平翻轉和旋轉+/- 20度來增加圖像增強。這有助於提高準確性並減少過度擬合。

---

項目方法

數據

Face Shape數據集是Niten Lama的Kaggle的數據集。

該數據集總共包含來自全球各地女性名人的5000張圖像，這些圖像是根據其臉形分類的：

• 心
• 長方形
• 橢圓形
• 圓形的
• 正方形

每個類別由1000張圖像組成（800張培訓：200次測試）

圖像預處理

圖像的預處理是減少對訓練數據集過度擬合的模型並提高驗證精度的關鍵因素。探索了以下步驟：

• 面部檢測以自動在圖像中定位面部，並識別面部周圍的邊界盒進行裁剪。我將多任務級聯卷積神經網絡（MTCNN）用作面部探測器。參考：IvánDePaz Centeno在IPAZC/MTCNN項目中實施。
• 圖像增強為考慮不同的姿勢（即頭部傾斜），我使用了水平翻轉並旋轉+/- 20度。
• RGB顏色圖像為每個圖像數據添加了更多尺寸（RGB的3D數組與灰度陣列的1D數組）。

造型

CNN型號從頭開始構建，具有4000張圖像（800張圖像x 5類）的有限培訓數據，我使用4個卷積 +最大層層和2個密集的層（詳細信息）構建了該模型。

帶有轉移學習的CNN模型使我能夠使用VGGFACE的預訓練的重量（已在超過260萬張圖像上培訓），可以使用更複雜的VGG-16體系結構。

• VGG -16體系結構由Visual幾何組 - 牛津大學設計，該大學獲得了Imagenet 2014競賽的圖像分類和本地化獎項
• 我使用了Refik can Malli的Keras-Vggface項目圖書館的預訓練的權重，該項目基於原始VGGFACE，以前命名了Visual Geometry Group的深層識別 - 牛津大學

模型評估

在較大的數據集中，轉移學習有助於顯著提高準確性，從76.9％到92.7％。

從從頭開始構建的型號，所有模型的性能都比基線要好20％（5個類別平衡，每個級別為20％）。

• 面部檢測（邊界框）有助於提高準確性與調整圖像的大小。
• 圖像增強有助於提高準確性並減少過度擬合。
• RGB顏色圖像略有幫助提高了準確性，但是過度擬合較高。

以下所有模型的摘要。

錯誤分類

這兩種模型在橢圓形的臉部形狀上的分類最高。儘管轉移學習模型提高了從頭開始構建的模型的準確性，但橢圓形仍然是最分類的，大多數是橢圓形的錯誤分類為圓形。有趣的是，圓面也大多被錯誤地分類為橢圓形，儘管圓形形狀的總體錯誤分類較低。橢圓形和圓形之間的混淆主要是亞洲面孔，而轉移學習則更多。這可能是因為審計的重量的亞洲圖像較少。

結論和關鍵學習：

• 圖像預處理，尤其是面對檢測和圖像增強，有助於提高準確性並減少過度擬合。
• 憑藉有限的數據集（4000次培訓圖像），使用較大數據集（VGGFACE 260萬張圖像）和更複雜的體系結構（VGG16）上使用預算權重的轉移學習（VGG16），大大有助於提高準確性，減少過度擬合和更快的創作時間。 〜80％的精度，同時使用VGG-FACE進行轉移學習，將精度提高到90％以上。
• 錯誤分類的大多數是橢圓形的形狀，尤其是亞洲橢圓形的面孔被歸類為圓形，這可能是因為該模型已在亞洲較少的圖像上預定。
• 在對看不見的數據進行測試時，面部檢測是推動預測準確性的關鍵步驟。該模型在可以輕鬆檢測到邊界框的圖像上表現更好，但是在無法檢測到全臉的圖像上不能很好地預測（即傾斜的臉，戴著太陽鏡，臉部裁剪了一部分）。