Face Shape Classification using CNN

Классификация формы лица

Это проект классификации изображений для выявления 5 женских форм лица с использованием сверточных нейронных сетей (CNN) . Я завершил это в качестве моего Capstone Project для иммерсивного курса науки о данных с Генеральной Ассамблеей (октябрь 2020 г.).

Этот проект также используется в качестве веб -приложения с использованием Stremlit на Heroku. Если вам интересно, проверьте форму вашего лица на myfaceshape.herokuapp.com

Запись о проблеме

Основываясь на обзоре потребителей Deloitte, потребители требуют более персонализированного опыта, однако испытание остается низким. В индустрии красоты и моды более 40%взрослых в возрасте от 16 до 39 лет заинтересованы в персонализированном предложении, а испытания составляет всего 10-14%. Среди тех, кто заинтересован, ~ 80% готовы заплатить как минимум на 10% выше цены.

Возможность классифицировать формы лица позволит брендам предлагать более персонализированные решения для повышения удовлетворенности клиентов, в то же время увеличивая прибыль от позиционирования премиум -класса. Пример вариантов использования:

• Персонализированный контент (то есть советы по макияже, прически)
• Персонализированные рекомендации для макияжа, очков/солнцезащитных очков и модных аксессуаров (то есть серьги, ожерелья, шляпа и т. Д.)
• Индивидуальные косметические средства (то есть маски по уходу за кожей, макияж), макияж)

Для этого проекта я буду использовать подход глубокого обучения с сверточными нейронными сетями (CNN) для классификации 5 различных форм женского лица (сердце, продолговатые, овальные, круглые, квадратные). Будет выбрана модель, которая была самым высоким показателем точности.

Управляющее резюме

Я исследовал 2 подхода CNN, построив с нуля и трасфер с архитектурой VGG-16 и предварительно обученными весами от VGGFACE. Подход к обучению трансферу помог повысить точность, в то время как наиболее классифицированная неправильная форма лица-«овальная».

Предварительная обработка изображения также сыграла важную роль в снижении переживания и повышении точности проверки. Ключевые драйверы:

• Обнаружение лица с использованием каскадной сверточной нейронной сети (MTCNN) с несколькими задачами для автоматического обнаружения ограничивающей коробки вокруг лица. Это помогает повысить точность проверки и уменьшить переосмысление.
• Увеличение изображения путем переворачивания по горизонтали и вращения +/- 20 градусов. Это помогает повысить точность и уменьшить переосмысление.

---

Проектный подход

Данные

Набор данных формы лица - это набор данных от Kaggle от Niten Lama.

Этот набор данных состоит из 5000 изображений женских знаменитостей со всего мира, которые классифицируются в соответствии с их формой лица, а именно:

• Сердце
• Продолговатый
• Овальный
• Круглый
• Квадрат

Каждая категория состоит из 1000 изображений (800 для обучения: 200 для тестирования)

Предварительная обработка изображения

Предварительная обработка изображений является критическим фактором для снижения модели, переосмысленной в учебный набор данных и повышение точности проверки. Следующие шаги были изучены:

• Обнаружение лица , чтобы автоматически найти лицо на изображении и определить ограничивающую коробку вокруг лица для обрезки. Я использовал каскадированную сверточную нейронную сеть (MTCNN) в качестве детектора лица. Ссылка: реализация Ивана де Паз Сентено в проекте IPAZC/MTCNN.
• Увеличение изображения для учета различной позы (т.е. наклона головы), я использовал горизонтальный переворот, а также вращение на +/- 20 градусов.
• Цветные изображения RGB добавляли больше размеров к каждому изображению данных (3D массив для RGB против 1D массива для серого).

Моделирование

Модель CNN, построенная с нуля с ограниченными учебными данными 4000 изображений (800 изображений x 5 классов), я строю модель с 4 свертками + максимальные слои и 2 плотных слоев (подробности ниже).

Модель CNN с Transfer Learning позволяет мне использовать более сложную архитектуру VGG-16, используя предварительно обученные веса из VGGFACE, которые были обучены более 2,6 миллионам изображений.

• Архитектура VGG -16 разработана группами Visual Geometry Group - Оксфордский университет, который получил награды за классификацию и локализацию изображений от конкурса ImageNet 2014
• Я использовал предварительно обученные веса из библиотеки проекта «Библиотека Keras-Vggface» от Refik Can Malli, которая основана на оригинальном VGGFACE, ранее назвав глубокое распознавание лица в группе визуальной геометрии-Оксфордский университет

Оценка модели

Трансферное обучение значительно повысило точность, с 76,9% до 92,7% с помощью предварительно обученных весов в более крупном наборе данных.

Из моделей, построенных с нуля, все модели работали лучше, чем базовая линия 20% (5 классов сбалансированы с 20% каждый).

• Обнаружение лица (ограничивающая коробка) помогло повысить точность по сравнению с изменением размера и обрезки изображения.
• Увеличение изображений помогло повысить точность и уменьшить переосмысление.
• Цветное изображение RGB немного помогло повысить точность, однако с более высокой пережитой.

Резюме всех моделей ниже.

Неправильная классификация

Обе модели имеют наивысшую ошибочную классификацию на овальной форме лица. Хотя модель обучения передачи улучшила точность модели, построенной с нуля, но овал по -прежнему является наиболее неправильно классифицированной, при этом большинство овальные неправильно классифицируются как круглые. Интересно, что круглая поверхность также в основном неправильно классифицируется как овальная, хотя общая ошибочная классификация для круглой формы лица низкая. Путаница между овальным и раундом в основном азиатские лица, а в частности, с помощью обучения передачи. Вероятно, это связано с тем, что в предварительно подготовленных весах меньше азиатских изображений.

Заключение и ключевое обучение:

• Предварительная обработка изображений , в частности, обнаружение лица и увеличение изображений, помогла повысить точность и снизить переосмысление.
• С ограниченными наборами данных (4000 учебных изображений), передачи обучения с использованием предварительно проведенных весов на более крупных наборах данных (VGGFACE 2,6 миллиона изображений) и более сложную архитектуру (VGG16), значительно помог повысить точность, уменьшить переосмысление и более быстрое время отключения. Точность ~ 80%, включив обучение переноса с использованием VGG-Face, повысила точность до более чем 90%.
• Большая часть неправильной классификации - это овальная форма лица, особенно азиатские овальные лица классифицируются как круглые, вероятно, потому что модель была предварительно подготовлена ​​на меньшем количестве азиатских изображений.
• При тестировании на невидимых данных обнаружение лица является важным шагом для точности прогнозов. Модель работает лучше на изображениях, где ограничивающая коробка может быть легко обнаружена, однако плохо предсказывает изображения, что полное лицо не может быть обнаружено (т.е. наклоненное лицо, в солнцезащитных очках, укороченные части лица).