FERPlus

FER+

Les annotations FER+ fournissent un ensemble de nouvelles étiquettes pour l'ensemble de données Emotion FER standard. Dans FER+, chaque image a été étiquetée par 10 tagueurs issus du crowdsourcing, qui fournissent une vérité terrain de meilleure qualité pour l'émotion des images fixes que les étiquettes FER d'origine. Disposer de 10 marqueurs pour chaque image permet aux chercheurs d'estimer une distribution de probabilité d'émotion par visage. Cela permet de construire des algorithmes qui produisent des distributions statistiques ou des sorties multi-étiquettes au lieu de la sortie conventionnelle à étiquette unique, comme décrit dans : https://arxiv.org/abs/1608.01041.

Voici quelques exemples d'étiquettes FER vs FER+ extraites du papier mentionné ci-dessus (FER haut, FER+ bas) :

Le nouveau fichier d'étiquettes est nommé fer2013new.csv et contient le même nombre de lignes que le fichier d'étiquettes fer2013.csv d'origine avec le même ordre, afin que vous puissiez déduire quelle balise d'émotion appartient à quelle image. Étant donné que nous ne pouvons pas héberger le contenu réel de l'image, veuillez trouver l'ensemble de données FER original ici : https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data

Le format du fichier CSV est le suivant : usage, neutre, bonheur, surprise, tristesse, colère, dégoût, peur, mépris, inconnu, NF. Les colonnes « utilisation » sont les mêmes que l'étiquette FER d'origine pour différencier les ensembles de formation, de test public et de test privé. Les autres colonnes contiennent le décompte des votes pour chaque émotion avec l'ajout d'inconnu et de NF (Not a Face).

Entraînement

Nous fournissons également un code de formation avec implémentation pour tous les modes de formation (majorité, probabilité, entropie croisée et multi-label) décrits dans https://arxiv.org/abs/1608.01041. Le code de formation utilise MS Cognitive Toolkit (anciennement CNTK) disponible sur : https://github.com/Microsoft/CNTK.

Après avoir installé Cognitive Toolkit et téléchargé l'ensemble de données (nous discuterons ensuite de la disposition de l'ensemble de données), vous pouvez simplement exécuter ce qui suit pour démarrer la formation :

Pour le mode de vote majoritaire

 python train.py -d  -m majority

Pour le mode probabilité

 python train.py -d  -m probability

Pour le mode d'entropie croisée

 python train.py -d  -m crossentropy

Pour le mode multi-cible

 python train.py -d  -m multi_target

Disposition FER+ pour la formation

Il existe un dossier nommé data qui présente la disposition suivante :

 /data
  /FER2013Test
    label.csv
  /FER2013Train
    label.csv
  /FER2013Valid
    label.csv

label.csv dans chaque dossier contient l'étiquette réelle de chaque image, le nom de l'image est au format suivant : ferXXXXXXXX.png, où XXXXXXXX est l'index de ligne du fichier csv FER d'origine. Voici donc les noms des premières images :

 fer0000000.png
fer0000001.png
fer0000002.png
fer0000003.png

Les dossiers ne contiennent pas les images réelles, vous devrez les télécharger depuis https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data, puis extraire le images du fichier csv FER de telle manière que toutes les images correspondant à "Formation" vont dans le dossier FER2013Train, toutes les images correspondant à "PublicTest" vont dans Le dossier FER2013Valid et toutes les images correspondant à "PrivateTest" vont dans le dossier FER2013Test. Ou vous pouvez utiliser le script generate_training_data.py pour faire tout ce qui précède pour vous, comme mentionné dans la section suivante.

Données de formation

Nous fournissons un script simple generate_training_data.py en python qui prend fer2013.csv et fer2013new.csv comme entrées, fusionne les deux fichiers CSV et exporte toutes les images dans un fichier png pour que le formateur puisse les traiter.

 python generate_training_data.py -d  -fer  -ferplus 

Citation

Si vous utilisez le nouveau label FER+ ou l'exemple de code ou une partie de celui-ci dans votre recherche, veuillez citer ce qui suit :

@inproceedings{BarsoumICMI2016,
title={Formation de réseaux profonds pour la reconnaissance des expressions faciales avec la distribution participative d'étiquettes},
author={Barsoum, Emad et Zhang, Cha et Canton Ferrer, Cristian et Zhang, Zhengyou},
booktitle={Conférence internationale ACM sur l'interaction multimodale (ICMI)},
année={2016}
}