Face Shape Classification using CNN

顔の形の分類

これは、畳み込みニューラルネットワーク（CNN）を使用して5つの女性の顔形状を識別する画像分類プロジェクトです。これを、総会（2020年10月）のデータサイエンス没入コースのための私のキャップストーンプロジェクトとして完了しました。

このプロジェクトは、HerokuでStremlitを使用してWebアプリとして展開されています。興味がある場合は、myfaceshape.herokuapp.comで顔の形を確認してください

問題ステートメント

デロイトの消費者レビューに基づいて、消費者はよりパーソナライズされた経験を要求していますが、試験は低いままです。美容およびファッション業界では、16〜39歳の成人の40％以上がパーソナライズされたオファーに関心を持っていますが、トライアルはわずか10％〜14％です。興味を持っている人の中で、〜80％が少なくとも10％高い価格を支払うことをいとわない。

フェイスシェイプを分類できることにより、ブランドはよりパーソナライズされたソリューションを提供して顧客満足度を高め、プレミアムポジショニングからマージンを増やします。ユースケースの例は次のとおりです。

• パーソナライズされたコンテンツ（つまり、メイクアップのヒント、ヘアスタイル）
• メイク、メガネ/サングラス、ファッションアクセサリー（つまり、イヤリング、ネックレス、帽子など）に関するパーソナライズされた推奨事項
• カスタマイズされた美容製品（つまり、フェイシャルスキンケアマスク、メイクアップパレット）

このプロジェクトでは、畳み込みニューラルネットワーク（CNN）を使用してディープラーニングアプローチを使用して、5つの異なる女性の顔の形（心臓、長方形、楕円形、円形、正方形）を分類します。最高の精度スコアであるモデルが選択されます。

エグゼクティブサマリー

VGG-16アーキテクチャとVGGFACEの事前訓練を受けたウェイトを使用して、ゼロから統制vs. Trasfer学習を構築することにより、CNNの2つのアプローチを調査しました。トランスファーラーニングアプローチは、最も誤分類された顔の形は「楕円形」である一方で、精度の向上に役立ちました。

画像の前処理は、過剰適合と検証精度を低下させる上で重要な役割を果たしました。主なドライバーは次のとおりです。

• マルチタスクカスケード畳み込み畳み込みニューラルネットワーク（MTCNN）を使用した顔の検出して、顔の境界ボックスを自動的に検出します。これにより、検証の精度を向上させ、過剰フィッティングを減らすことができます。
• 水平方向にひっくり返し、+/- 20度回転させることによる画像の増強。これにより、精度が向上し、過剰適合を減らすことができます。

---

プロジェクトアプローチ

データ

フェイスシェイプデータセットは、Niten LamaによるKaggleのデータセットです。

このデータセットは、世界中の女性の有名人の合計5000枚の画像で構成されています。

• 心臓
• 長方形
• 楕円形
• ラウンド
• 四角

各カテゴリは1000枚の画像で構成されています（トレーニング用800：テスト用）

画像の前処理

画像の前処理は、トレーニングデータセットへの過剰適合を削減し、検証の精度を向上させる重要な要因です。次の手順が調査されています。

• 顔の検出画像内の顔を自動的に見つけ、トリミングのために顔の周りの境界ボックスを識別します。マルチタスクカスケード畳み込み畳み込みニューラルネットワーク（MTCNN）をフェイス検出器として使用しました。参照：IPAZC/MTCNNプロジェクトでのIvándePazCentenoによる実装。
• 画像の増強は、さまざまなポーズ（つまりヘッドチルティング）を説明するために、+/- 20度で回転するだけでなく、水平方向の反転を使用しました。
• RGBカラー画像は、各画像データにさらに寸法を追加しました（RGBの3D配列対グレースケール用1D配列）。

モデリング

4000画像の限られたトレーニングデータ（800画像x 5クラス）でゼロから構築されたCNNモデルは、4つの畳み込み +最大プーリング層と2つの密度層でモデルを構築します（詳細は以下）。

転送学習を備えたCNNモデルにより、 260万枚以上の画像でトレーニングされているVGGFaceの事前に訓練された重みを使用することにより、より複雑なVGG-16アーキテクチャを使用できます。

• VGG -16 Architectureは、Visual Geometry Group -University of Oxfordによって設計されており、Imagenet 2014コンペティションからの画像分類とローカリゼーションの賞を受賞しました
• refik can malliによるKeras-Vggfaceプロジェクトのライブラリから事前に訓練されたウェイトを使用しました。

モデル評価

転送学習は、より大きなデータセットで事前に訓練されたウェイトの助けを借りて、76.9％から92.7％に精度を大幅に改善するのに役立ちました。

ゼロから構築されたモデルから、すべてのモデルは20％のベースラインよりも優れたパフォーマンスを発揮しました（5つのクラスはそれぞれ20％のバランスをとります）。

• 顔検出（境界ボックス）は、画像のサイズ変更とトリミングの精度を改善するのに役立ちました。
• 画像の増強は、精度を向上させ、過剰適合を減らすのに役立ちました。
• RGBカラーイメージは、より高い過剰装着で精度を改善するのにわずかに役立ちました。

以下のすべてのモデルの概要。

誤分類

両方のモデルは、楕円形の顔の形で最も誤分類されています。トランスファーラーニングモデルはゼロから構築されたモデルの精度を改善しましたが、楕円形は依然として最も誤分類されており、大部分は楕円形の誤分類を担当しています。興味深いことに、丸い顔も楕円形として誤分類されていますが、丸い顔の形の全体的な誤分類は低いです。楕円形と丸いの間の混乱は、ほとんどがアジアの顔であり、転送学習でもそうです。これは、前提条件の重みがアジアの画像が少ないためになる可能性があります。

結論と重要な学習：

• 画像の前処理、特に顔の検出と画像の増強は、精度を改善し、過剰フィットを減らすのに役立ちました。
• 限られたデータセット（4000のトレーニング画像）、より大きなデータセット（VGGFACE 2.6百万画像）で前提条件の重みを使用した学習を転送し、より複雑なアーキテクチャ（VGG16）は、精度を改善し、過剰適合を減らし、トレーニング時間を速くするのに役立ちました。 vgg-faceを使用して転送学習を組み込む一方で、精度が90％以上に増加しました。
• 誤分類の大部分は楕円形の顔の形であり、特にアジアの楕円形の顔はラウンドとして分類されます。これは、モデルがより少ないアジアの画像で前提とされているためです。
• 目に見えないデータをテストするとき、顔の検出は、予測の精度を促進するための重要なステップです。モデルは、境界ボックスを簡単に検出できる画像でパフォーマンスを向上させますが、顔全体を検出できないという画像（つまり、サングラスを着用し、顔のトリミングされた部分を着用している）ではよく予測されません。