Face Shape Classification using CNN

脸型分类

这是一个图像分类项目，可使用卷积神经网络（CNN）识别5个女性面部形状。我在大会上（2020年10月）完成了我的数据科学沉浸式课程的顶峰项目。

该项目还使用Heroku上的Stremlit部署为Web应用程序。如果您有兴趣，请在myfaceshape.herokuapp.com上检查您的脸部形状

问题陈述

根据Deloitte消费者评论，消费者要求更多个性化的体验，但是试验仍然很低。在美容和时装行业中，超过40％的16-39岁成年人对个性化报价感兴趣，而试验仅为10％-14％。在感兴趣的人中，约有80％的人愿意支付至少10％的价格。

通过能够对面部形状进行分类，将使品牌能够提供更多个性化的解决方案，以提高客户满意度，同时从优质定位提高利润率。用例的示例是：

• 个性化内容（即化妆技巧，发型）
• 化妆，眼镜/太阳镜和时尚配饰的个性化建议（即耳环，项链，帽子等）
• 定制美容产品（例如面部护肤口罩，化妆馅饼）

对于这个项目，我将使用卷积神经网络（CNN）的深度学习方法对5种不同的女性面部形状（心脏，长方形，椭圆形，圆形，正方形）进行分类。将选择最高精度得分的模型。

执行摘要

我已经通过VGG-16体系结构和VGGFACE预先训练的权重构建了CNN的2种方法。转移学习方法有助于提高准确性，而最不分类的面部形状为“椭圆形”。

图像预处理在降低过度拟合和提高验证精度方面也起着重要作用。主要驱动力是：

• 使用多任务级联卷积神经网络（MTCNN）进行面部检测，以自动检测面部周围的边界框。这有助于提高验证精度并降低过度拟合。
• 通过水平翻转和旋转+/- 20度来增加图像增强。这有助于提高准确性并减少过度拟合。

---

项目方法

数据

Face Shape数据集是Niten Lama的Kaggle的数据集。

该数据集总共包含来自全球各地女性名人的5000张图像，这些图像是根据其脸形分类的：

• 心
• 长方形
• 椭圆形
• 圆形的
• 正方形

每个类别由1000张图像组成（800张培训：200次测试）

图像预处理

图像的预处理是减少对训练数据集过度拟合的模型并提高验证精度的关键因素。探索了以下步骤：

• 面部检测以自动在图像中定位面部，并识别面部周围的边界盒进行裁剪。我将多任务级联卷积神经网络（MTCNN）用作面部探测器。参考：IvánDePaz Centeno在IPAZC/MTCNN项目中实施。
• 图像增强为考虑不同的姿势（即头部倾斜），我使用了水平翻转并旋转+/- 20度。
• RGB颜色图像为每个图像数据添加了更多尺寸（RGB的3D数组与灰度阵列的1D数组）。

造型

CNN型号从头开始构建，具有4000张图像（800张图像x 5类）的有限培训数据，我使用4个卷积 +最大层层和2个密集的层（详细信息）构建了该模型。

带有转移学习的CNN模型使我能够使用VGGFACE的预训练的重量（已在超过260万张图像上培训），可以使用更复杂的VGG-16体系结构。

• VGG -16体系结构由Visual几何组 - 牛津大学设计，该大学获得了Imagenet 2014竞赛的图像分类和本地化奖项
• 我使用了Refik can Malli的Keras-Vggface项目图书馆的预训练的权重，该项目基于原始VGGFACE，以前命名了Visual Geometry Group的深层识别 - 牛津大学

模型评估

在较大的数据集中，转移学习有助于显着提高准确性，从76.9％到92.7％。

从从头开始构建的型号，所有模型的性能都比基线要好20％（5个类别平衡，每个级别为20％）。

• 面部检测（边界框）有助于提高准确性与调整图像的大小。
• 图像增强有助于提高准确性并减少过度拟合。
• RGB颜色图像略有帮助提高了准确性，但是过度拟合较高。

以下所有模型的摘要。

错误分类

这两种模型在椭圆形的脸部形状上的分类最高。尽管转移学习模型提高了从头开始构建的模型的准确性，但椭圆形仍然是最分类的，大多数是椭圆形的错误分类为圆形。有趣的是，圆面也大多被错误地分类为椭圆形，尽管圆形形状的总体错误分类较低。椭圆形和圆形之间的混淆主要是亚洲面孔，而转移学习则更多。这可能是因为审计的重量的亚洲图像较少。

结论和关键学习：

• 图像预处理，尤其是面对检测和图像增强，有助于提高准确性并减少过度拟合。
• 凭借有限的数据集（4000次培训图像），使用较大数据集（VGGFACE 260万张图像）和更复杂的体系结构（VGG16）上使用预算权重的转移学习（VGG16），大大有助于提高准确性，减少过度拟合和更快的创作时间。 〜80％的精度，同时使用VGG-FACE进行转移学习，将精度提高到90％以上。
• 错误分类的大多数是椭圆形的形状，尤其是亚洲椭圆形的面孔被归类为圆形，这可能是因为该模型已在亚洲较少的图像上预定。
• 在对看不见的数据进行测试时，面部检测是推动预测准确性的关键步骤。该模型在可以轻松检测到边界框的图像上表现更好，但是在无法检测到全脸的图像上不能很好地预测（即倾斜的脸，戴着太阳镜，脸部裁剪了一部分）。