face alignment

Распознавание лиц

Обнаруживайте ориентиры лица с помощью Python, используя самую точную в мире сеть выравнивания лиц, способную обнаруживать точки как в 2D, так и в 3D координатах.

Создавайте, используя современный метод выравнивания лица, основанный на глубоком обучении FAN.

Функции

Обнаружение 2D-ориентиров лица на фотографиях

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , flip_input = False )

input = io . imread ( '../test/assets/aflw-test.jpg' )
preds = fa . get_landmarks ( input )

Обнаружение 3D-ориентиров лица на фотографиях

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . THREE_D , flip_input = False )

input = io . imread ( '../test/assets/aflw-test.jpg' )
preds = fa . get_landmarks ( input )

Обработка всего каталога за один раз

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , flip_input = False )

preds = fa . get_landmarks_from_directory ( '../test/assets/' )

Обнаруживайте ориентиры с помощью специального детектора лиц.

По умолчанию пакет будет использовать детектор лиц SFD. Однако пользователи могут альтернативно использовать dlib, BlazeFace или уже существующие ограничивающие рамки базовой истины.

 import face_alignment

# sfd for SFD, dlib for Dlib and folder for existing bounding boxes.
fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , face_detector = 'sfd' )

Работа на процессоре/графическом процессоре

Чтобы указать устройство (GPU или CPU), на котором будет выполняться код, можно явно передать флаг устройства:

 import torch
import face_alignment

# cuda for CUDA, mps for Apple M1/2 GPUs.
fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , device = 'cpu' )

# running using lower precision
fa = fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , dtype = torch . bfloat16 , device = 'cuda' )

Пожалуйста, также посмотрите папку examples

Поддерживаемые детекторы лиц

 # dlib (fast, may miss faces)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'dlib' )

# SFD (likely best results, but slowest)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'sfd' )

# Blazeface (front camera model)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'blazeface' )

# Blazeface (back camera model)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'blazeface' , face_detector_kwargs = { 'back_model' : True })

Установка

Требования

• Python 3.5+ (может работать и с другими версиями). Последней версией с поддержкой Python 2.7 была v1.1.1.
• Linux, Windows или macOS
• питорч (>=1,5)

Хотя это и не обязательно, для оптимальной производительности (особенно для детектора) настоятельно рекомендуется запускать код с использованием графического процессора с поддержкой CUDA.

Бинарные файлы

Самый простой способ установить его — использовать pip или conda:

Использование пипса	Использование конды
pip install face-alignment	conda install -c 1adrianb face_alignment

Альтернативно, ниже вы можете найти инструкции по сборке из исходного кода.

Из источника

Установите pytorch и зависимости pytorch. Пожалуйста, проверьте файл readme pytorch.

Получите исходный код Face Alignment

git clone https://github.com/1adrianb/face-alignment

Установите библиотеку Face Alignment.

pip install -r requirements.txt
python setup.py install

Докер-образ

Предоставляется файл Dockerfile для создания образов с поддержкой cuda и cudnn. Дополнительные инструкции по запуску и созданию образа Docker можно найти в исходной документации Docker.

 docker build -t face-alignment .

Как это работает?

Хотя здесь работа представлена ​​как черный ящик, если вы хотите узнать больше о тонкостях метода, пожалуйста, проверьте оригинал статьи на arxiv или на моей веб-странице.

Взносы

Все вклады приветствуются. Если вы столкнулись с какой-либо проблемой (включая примеры изображений, где она не удалась), смело открывайте проблему. Если вы планируете добавить новые функции, откройте проблему, чтобы обсудить это, прежде чем делать запрос на включение.

Цитирование

 @inproceedings{bulat2017far,
  title={How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)},
  author={Bulat, Adrian and Tzimiropoulos, Georgios},
  booktitle={International Conference on Computer Vision},
  year={2017}
}

Для цитирования dlib, pytorch или любых других пакетов, использованных здесь, проверьте исходную страницу соответствующих авторов.

Благодарности

• Команде pytorch за предоставление такой потрясающей среды глубокого обучения.
• Моему руководителю за терпение и предложения.
• Всем остальным разработчикам Python, которые предоставили доступ к остальным пакетам, используемым в этом репозитории.