Face Shape Classification using CNN

Clasificación de forma de cara

Este es un proyecto de clasificación de imágenes para identificar 5 formas faciales femeninas utilizando redes neuronales convolucionales (CNN) . Completé esto como mi Capstone Project for Data Science Inmersive Course con Asamblea General (octubre de 2020).

Este proyecto también se implementa como una aplicación web que usa Stremlit en Heroku. Si está interesado, revise la forma de su cara en myfaceShape.eokuapp.com

Declaración del problema

Según la revisión del consumidor de Deloitte, los consumidores exigen una experiencia más personalizada, sin embargo, la prueba sigue siendo baja. En la industria de la belleza y la moda, más del 40%de los adultos de 16 a 39 años están interesados ​​en una oferta personalizada, mientras que el juicio es solo del 10%-14%. Entre los interesados, ~ 80% están dispuestos a pagar al menos un precio de 10% más alto.

Al poder clasificar las formas faciales permitirá a las marcas ofrecer soluciones más personalizadas para aumentar la satisfacción del cliente, al tiempo que aumenta el margen del posicionamiento premium. Ejemplo de casos de uso son:

• Contenido personalizado (es decir, consejos de maquillaje, peinados)
• Recomendaciones personalizadas para maquillaje, gafas/gafas de sol y accesorios de moda (es decir, aretes, collares, sombrero, etc.)
• Productos de belleza personalizados (es decir, máscaras faciales para el cuidado de la piel, paleta de maquillaje)

Para este proyecto, utilizaré un enfoque de aprendizaje profundo con redes neuronales convolucionales (CNN) para clasificar 5 formas de cara femenina diferentes (corazón, oblongo, ovalado, redondo, cuadrado). Se eligirá el modelo que fue la puntuación de mayor precisión.

Resumen ejecutivo

He explorado 2 enfoques de CNN construyendo desde cero frente al aprendizaje de Trasfer con arquitectura VGG-16 y pesos previamente capacitados de VGGFace. El enfoque de aprendizaje de transferencia ayudó a aumentar la precisión, mientras que la forma de la cara más mal clasificada es 'ovalada'.

El preprocesamiento de la imagen también jugó un papel importante en la reducción de la sobreajuste y el aumento de la precisión de validación. Los controladores clave son:

• Detección de la cara utilizando la red neuronal convolucional de tareas múltiples (MTCNN) para detectar automáticamente el cuadro delimitador alrededor de la cara. Esto ayuda a mejorar la precisión de la validación y a reducir el sobreajuste.
• Aumento de la imagen volteando horizontalmente y girando +/- 20 grados. Esto ayuda a aumentar la precisión y reducir el sobreajuste.

---

Enfoque de proyecto

Datos

El conjunto de datos de la forma de la cara es un conjunto de datos de Kaggle de Niten Lama.

Este conjunto de datos comprende un total de 5000 imágenes de las celebridades femeninas de todo el mundo que se clasifican de acuerdo con su forma de cara, a saber:

• Corazón
• Oblongo
• Oval
• Redondo
• Cuadrado

Cada categoría consta de 1000 imágenes (800 para capacitación: 200 para pruebas)

Preprocesamiento de imágenes

El preprocesamiento de las imágenes es un factor crítico para reducir el sobreajuste del modelo al conjunto de datos de entrenamiento y aumentar la precisión de validación. Se han explorado los siguientes pasos:

• La detección de la cara para localizar automáticamente la cara en la imagen e identificar la caja delimitadora alrededor de la cara para recortar. Utilicé la red neuronal convolucional de tareas múltiple (MTCNN) como detector de cara. Referencia: Implementación de Iván de Paz Centeno en el proyecto IPAZC/MTCNN.
• Aumento de la imagen Para tener en cuenta la diferente pose (es decir, la inclinación de la cabeza), utilicé el volteo horizontal y giraba por +/- 20 grados.
• Las imágenes de color RGB agregaron más dimensiones a cada datos de imagen (matriz 3D para RGB vs 1D Matray para escala de grises).

Modelado

Modelo CNN construido desde cero con datos de entrenamiento limitados de 4000 imágenes (800 imágenes x 5 clases), construyo el modelo con 4 capas convolucionales de + poleación máxima y 2 capas densas (detalles a continuación).

El modelo CNN con el aprendizaje de transferencia me permite usar una arquitectura VGG-16 más compleja, mediante el uso de pesos previamente capacitados de VGGFace que ha sido entrenado en más de 2.6 millones de imágenes.

• La arquitectura VGG -16 está diseñada por Visual Geometry Group - University of Oxford, que ganó premios por clasificación de imágenes y localización de la competencia Imagenet 2014
• Utilicé los pesos previamente capacitados del Proyecto de la Biblioteca de Keras-Vggface de Refik Can Malli, que se basa en VGGFace original, previamente nombra el reconocimiento de la cara profunda del Grupo de Geometría Visual-Universidad de Oxford

Evaluación del modelo

El aprendizaje de la transferencia ayudó a mejorar la precisión significativamente, de 76.9% a 92.7%, con la ayuda de pesos previamente capacitados en un conjunto de datos más grande.

A partir de los modelos construidos desde cero, todos los modelos funcionaban mejor que la línea de base del 20% (5 clases están equilibradas con 20% cada uno).

• La detección de la cara (caja delimitadora) ayudó a mejorar la precisión frente al cambio de tamaño y recortar la imagen.
• El aumento de imagen ayudó a mejorar la precisión y reducir el sobreajuste.
• La imagen en color RGB ayudó ligeramente a mejorar la precisión, sin embargo, con un mayor atasco.

Resumen de todos los modelos a continuación.

Clasificación errónea

Ambos modelos tienen una clasificación errónea más alta en forma de cara ovalada . Aunque el modelo de aprendizaje de transferencia mejoró la precisión del modelo construido desde cero, pero Oval sigue siendo el más concretado, y la mayoría se clasifica erróneamente como redonda. Curiosamente, la cara redonda también se clasifica erróneamente como ovalada, aunque la clasificación errónea general de la cara redonda es baja. La confusión entre oval y redondo son en su mayoría caras asiáticas, y más aún con el aprendizaje de transferencia. Esto es probable porque los pesos previos a la aparición tienen menos imágenes asiáticas.

Conclusión y aprendizaje clave:

• El preprocesamiento de imágenes , particularmente la detección de la cara y el aumento de la imagen, ayudó a mejorar la precisión y a reducir el sobreajuste.
• Con conjuntos de datos limitados (4000 imágenes de entrenamiento), transfiera el aprendizaje utilizando pesos previos a los conjuntos de datos más grandes (VGGFace 2.6 millones de imágenes) y una arquitectura más compleja (VGG16), ayudó significativamente a mejorar la precisión, reducir el sobreajuste y el tiempo de traing más rápido. El modelo CNN de Scratch logra La precisión de ~ 80%, mientras que se incorpora el aprendizaje de transferencia usando VGG-FACE aumentó la precisión a más del 90%.
• La mayoría de la clasificación errónea es la forma de la cara ovalada, especialmente las caras ovales asiáticas se clasifican como redondas, probablemente porque el modelo ha sido provocado en menos imágenes asiáticas.
• Al probar en datos invisibles, la detección de cara es el paso crítico para impulsar la precisión de las predicciones. El modelo funciona mejor en las imágenes donde la caja delimitadora se puede detectar fácilmente, sin embargo, no predice bien en las imágenes que la cara completa no se puede detectar (es decir, cara inclinada, con gafas de sol, partes recortadas de la cara).