FERPlus

FER+

Las anotaciones FER+ proporcionan un conjunto de nuevas etiquetas para el conjunto de datos estándar Emotion FER. En FER+, cada imagen ha sido etiquetada por 10 etiquetadores de fuentes colaborativas, que proporcionan una verdad sobre el terreno de mejor calidad para la emoción de imágenes fijas que las etiquetas FER originales. Tener 10 etiquetas para cada imagen permite a los investigadores estimar una distribución de probabilidad de emoción por rostro. Esto permite construir algoritmos que producen distribuciones estadísticas o resultados con múltiples etiquetas en lugar de los resultados convencionales con una sola etiqueta, como se describe en: https://arxiv.org/abs/1608.01041

A continuación se muestran algunos ejemplos de etiquetas FER vs FER+ extraídas del artículo mencionado anteriormente (FER arriba, FER+ abajo):

El nuevo archivo de etiqueta se llama fer2013new.csv y contiene la misma cantidad de filas que el archivo de etiqueta fer2013.csv original con el mismo orden, para que pueda inferir qué etiqueta de emoción pertenece a qué imagen. Dado que no podemos alojar el contenido de la imagen real, encuentre el conjunto de datos FER original aquí: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data

El formato del archivo CSV es el siguiente: uso, neutral, felicidad, sorpresa, tristeza, ira, disgusto, miedo, desprecio, desconocido, NF. El "uso" de las columnas es el mismo que el de la etiqueta FER original para diferenciar entre conjuntos de entrenamiento, pruebas públicas y pruebas privadas. Las otras columnas son el recuento de votos para cada emoción con la adición de desconocido y NF (Not a Face).

Capacitación

También proporcionamos un código de entrenamiento con implementación para todos los modos de entrenamiento (mayoría, probabilidad, entropía cruzada y etiqueta múltiple) descritos en https://arxiv.org/abs/1608.01041. El código de capacitación utiliza MS Cognitive Toolkit (anteriormente CNTK) disponible en: https://github.com/Microsoft/CNTK.

Después de instalar Cognitive Toolkit y descargar el conjunto de datos (a continuación analizaremos el diseño del conjunto de datos), simplemente puede ejecutar lo siguiente para comenzar la capacitación:

Para el modo de votación por mayoría

 python train.py -d  -m majority

Para el modo de probabilidad

 python train.py -d  -m probability

Para modo de entropía cruzada

 python train.py -d  -m crossentropy

Para modo multiobjetivo

 python train.py -d  -m multi_target

Diseño FER+ para entrenamiento

Hay una carpeta llamada datos que tiene el siguiente diseño:

 /data
  /FER2013Test
    label.csv
  /FER2013Train
    label.csv
  /FER2013Valid
    label.csv

label.csv en cada carpeta contiene la etiqueta real para cada imagen, el nombre de la imagen tiene el siguiente formato: ferXXXXXXXX.png, donde XXXXXXXX es el índice de fila del archivo csv FER original. Así que aquí los nombres de las primeras imágenes:

 fer0000000.png
fer0000001.png
fer0000002.png
fer0000003.png

Las carpetas no contienen las imágenes reales; deberá descargarlas desde https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data y luego extraer las imágenes del archivo csv FER de tal manera, que todas las imágenes correspondientes a "Entrenamiento" vayan a la carpeta FER2013Train, todas las imágenes correspondientes a "PublicTest" vayan a la carpeta FER2013Valid y todas las imágenes correspondientes a "PrivateTest" vayan a la carpeta FER2013Test. O puede usar el script generate_training_data.py para hacer todo lo anterior por usted como se menciona en la siguiente sección.

Datos de entrenamiento

Proporcionamos un script simple generate_training_data.py en Python que toma fer2013.csv y fer2013new.csv como entradas, fusiona ambos archivos CSV y exporta todas las imágenes a archivos png para que el entrenador las procese.

 python generate_training_data.py -d  -fer  -ferplus 

Citación

Si utiliza la nueva etiqueta FER+ o el código de muestra o parte de él en su investigación, cite lo siguiente:

@inproceedings{BarsoumICMI2016,
title={Capacitación de redes profundas para el reconocimiento de expresiones faciales con distribución de etiquetas de origen público},
autor={Barsoum, Emad y Zhang, Cha y Canton Ferrer, Cristian y Zhang, Zhengyou},
booktitle={Conferencia Internacional ACM sobre Interacción Multimodal (ICMI)},
año={2016}
}