face alignment

Reconocimiento facial

Detecte puntos de referencia faciales desde Python utilizando la red de alineación facial más precisa del mundo, capaz de detectar puntos en coordenadas 2D y 3D.

Construya utilizando el método de alineación facial basado en aprendizaje profundo de última generación de FAN.

Características

Detecta puntos de referencia faciales 2D en imágenes

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , flip_input = False )

input = io . imread ( '../test/assets/aflw-test.jpg' )
preds = fa . get_landmarks ( input )

Detecta puntos de referencia faciales en 3D en imágenes

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . THREE_D , flip_input = False )

input = io . imread ( '../test/assets/aflw-test.jpg' )
preds = fa . get_landmarks ( input )

Procese un directorio completo de una sola vez

 import face_alignment
from skimage import io

fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , flip_input = False )

preds = fa . get_landmarks_from_directory ( '../test/assets/' )

Detecta los puntos de referencia utilizando un detector de rostros específico.

De forma predeterminada, el paquete utilizará el detector facial SFD. Sin embargo, los usuarios pueden utilizar alternativamente dlib, BlazeFace o cuadros delimitadores de verdad terrestre preexistentes.

 import face_alignment

# sfd for SFD, dlib for Dlib and folder for existing bounding boxes.
fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , face_detector = 'sfd' )

Ejecutando en CPU/GPU

Para especificar el dispositivo (GPU o CPU) en el que se ejecutará el código, se puede pasar explícitamente la bandera del dispositivo:

 import torch
import face_alignment

# cuda for CUDA, mps for Apple M1/2 GPUs.
fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , device = 'cpu' )

# running using lower precision
fa = fa = face_alignment . FaceAlignment ( face_alignment . LandmarksType . TWO_D , dtype = torch . bfloat16 , device = 'cuda' )

Consulte también la carpeta de examples

Detectores de rostros compatibles

 # dlib (fast, may miss faces)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'dlib' )

# SFD (likely best results, but slowest)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'sfd' )

# Blazeface (front camera model)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'blazeface' )

# Blazeface (back camera model)
model = FaceAlignment ( landmarks_type = LandmarksType . TWO_D , face_detector = 'blazeface' , face_detector_kwargs = { 'back_model' : True })

Instalación

Requisitos

• Python 3.5+ (puede que también funcione con otras versiones). La última versión compatible con Python 2.7 fue la v1.1.1
• Linux, Windows o macOS
• pytorch (>=1.5)

Si bien no es necesario, para un rendimiento óptimo (especialmente para el detector), se recomienda ejecutar el código utilizando una GPU habilitada para CUDA.

binarios

La forma más sencilla de instalarlo es utilizando pip o conda:

Usando pepita	Usando conda
pip install face-alignment	conda install -c 1adrianb face_alignment

Alternativamente, a continuación puede encontrar instrucciones para compilarlo desde la fuente.

De la fuente

Instale las dependencias de pytorch y pytorch. Consulte el archivo Léame de pytorch para esto.

Obtenga el código fuente de alineación facial

git clone https://github.com/1adrianb/face-alignment

Instale la biblioteca de alineación de caras

pip install -r requirements.txt
python setup.py install

imagen acoplable

Se proporciona un Dockerfile para crear imágenes con soporte cuda y cudnn. Para obtener más instrucciones sobre cómo ejecutar y crear una imagen de Docker, consulte la documentación original de Docker.

 docker build -t face-alignment .

¿Cómo funciona?

Si bien aquí el trabajo se presenta como una caja negra, si desea obtener más información sobre los entresijos del método, consulte el artículo original en arxiv o en mi página web.

Contribuciones

Todas las contribuciones son bienvenidas. Si encuentra algún problema (incluidos ejemplos de imágenes en las que falla), no dude en abrir un problema. Si planea agregar nuevas funciones, abra un problema para discutir esto antes de realizar una solicitud de extracción.

Citación

 @inproceedings{bulat2017far,
  title={How far are we from solving the 2D & 3D Face Alignment problem? (and a dataset of 230,000 3D facial landmarks)},
  author={Bulat, Adrian and Tzimiropoulos, Georgios},
  booktitle={International Conference on Computer Vision},
  year={2017}
}

Para citar dlib, pytorch o cualquier otro paquete utilizado aquí, consulte la página original de sus respectivos autores.

Expresiones de gratitud

• Al equipo de pytorch por proporcionar un marco de aprendizaje profundo tan increíble.
• A mi supervisor por su paciencia y sugerencias.
• A todos los demás desarrolladores de Python que pusieron a disposición el resto de los paquetes utilizados en este repositorio.