face alignment

顔認識

2D 座標と 3D 座標の両方で点を検出できる、世界で最も正確な顔位置合わせネットワークを使用して、Python から顔のランドマークを検出します。

FAN の最先端の深層学習ベースの顔位置合わせ方法を使用して構築します。

特徴

写真内の 2D 顔のランドマークを検出

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , flip_input = False )

input = io . imread ( '../test/assets/aflw-test.jpg' )
preds = fa . get_landmarks ( input )

写真内の 3D 顔のランドマークを検出

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . THREE_D , flip_input = False )

input = io . imread ( '../test/assets/aflw-test.jpg' )
preds = fa . get_landmarks ( input )

ディレクトリ全体を一度に処理する

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , flip_input = False )

preds = fa . get_landmarks_from_directory ( '../test/assets/' )

特定の顔検出器を使用してランドマークを検出します。

デフォルトでは、パッケージは SFD 顔検出器を使用します。ただし、ユーザーは代わりに dlib、BlazeFace、または既存のグラウンド トゥルース バウンディング ボックスを使用することもできます。

 import face_alignment

# sfd for SFD, dlib for Dlib and folder for existing bounding boxes.
fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , face_detector = 'sfd' )

CPU/GPUで実行

コードを実行するデバイス (GPU または CPU) を指定するには、デバイス フラグを明示的に渡すことができます。

 import torch
import face_alignment

# cuda for CUDA, mps for Apple M1/2 GPUs.
fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , device = 'cpu' )

# running using lower precision
fa = fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , dtype = torch . bfloat16 , device = 'cuda' )

examplesフォルダーも参照してください

サポートされている顔検出器

 # dlib (fast, may miss faces)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'dlib' )

# SFD (likely best results, but slowest)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'sfd' )

# Blazeface (front camera model)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'blazeface' )

# Blazeface (back camera model)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'blazeface' , face_detector_kwargs = { 'back_model' : True })

インストール

要件

• Python 3.5 以降 (他のバージョンでも動作する可能性があります)。 Python 2.7 をサポートする最後のバージョンは v1.1.1 でした
• Linux、Windows、または macOS
• pytorch (>=1.5)

必須ではありませんが、最適なパフォーマンス (特に検出器) を得るには、CUDA 対応 GPU を使用してコードを実行することを強くお勧めします。

バイナリ

これをインストールする最も簡単な方法は、pip または conda を使用することです。

ピップの使用	conda の使用
pip install face-alignment	conda install -c 1adrianb face_alignment

あるいは、ソースからビルドする手順を以下に示します。

ソースから

pytorch と pytorch の依存関係をインストールします。これについては、pytorch readme を確認してください。

顔の位置合わせのソース コードを取得する

git clone https://github.com/1adrianb/face-alignment

フェイスアライメントライブラリをインストールする

pip install -r requirements.txt
python setup.py install

Dockerイメージ

cuda サポートと cudnn を使用してイメージを構築するための Dockerfile が提供されています。 Docker イメージの実行と構築の詳細については、元の Docker ドキュメントを確認してください。

 docker build -t face-alignment .

どのように機能するのでしょうか?

ここでは作業はブラックボックスとして示されていますが、このメソッドの内部構造について詳しく知りたい場合は、arxiv または私の Web ページのいずれかで元の論文を確認してください。

貢献

すべての貢献を歓迎します。何か問題が発生した場合 (失敗した画像の例を含む)、お気軽に問題を開いてください。新しい機能を追加する予定がある場合は、プル リクエストを行う前に問題を開いて議論してください。

引用

 @inproceedings{bulat2017far,
  title={How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)},
  author={Bulat, Adrian and Tzimiropoulos, Georgios},
  booktitle={International Conference on Computer Vision},
  year={2017}
}

ここで使用されている dlib、pytorch、またはその他のパッケージを引用する場合は、それぞれの作成者の元のページを確認してください。

謝辞

• このような素晴らしいディープラーニング フレームワークを提供してくれた pytorch チームに感謝します
• 忍耐と提案をしてくれた上司に感謝します。
• このリポジトリで使用されている残りのパッケージを利用可能にしてくれた他のすべての Python 開発者に。