FERプラス

FER+

FER+ アノテーションは、標準の感情 FER データセットに一連の新しいラベルを提供します。 FER+ では、各画像は 10 個のクラウドソース タガーによってラベル付けされており、元の FER ラベルよりも高品質の静止画像の感情のグラウンド トゥルースを提供します。各画像に 10 個のタガーがあるため、研究者は顔ごとの感情の確率分布を推定できます。これにより、https://arxiv.org/abs/1608.01041 で説明されているように、従来の単一ラベル出力の代わりに統計分布または複数ラベル出力を生成するアルゴリズムを構築できます。

上記の論文から抜粋した FER と FER+ のラベルの例をいくつか示します (FER が上、FER+ が下)。

新しいラベル ファイルはfer2013new.csvという名前で、元のfer2013.csvラベル ファイルと同じ行数が同じ順序で含まれているため、どの感情タグがどの画像に属しているかを推測できます。実際の画像コンテンツをホストできないため、オリジナルの FER データ セットをここで見つけてください: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data

CSV ファイルの形式は、使用法、中立、幸福、驚き、悲しみ、怒り、嫌悪、恐怖、軽蔑、不明、NF です。列の「使用法」は、トレーニング、パブリック テスト、およびプライベート テスト セットを区別するための元の FER ラベルと同じです。他の列は、未知と NF (Not a Face) を追加した各感情の投票数です。

トレーニング

また、https://arxiv.org/abs/1608.01041 で説明されているすべてのトレーニング モード (多数決、確率、クロス エントロピー、およびマルチラベル) を実装したトレーニング コードも提供します。トレーニング コードは、https://github.com/Microsoft/CNTK で入手可能な MS Cognitive Toolkit (旧名 CNTK) を使用します。

Cognitive Toolkit をインストールしてデータセットをダウンロードした後 (データセットのレイアウトについては次に説明します)、以下を実行するだけでトレーニングを開始できます。

多数決モードの場合

 python train.py -d  -m majority

確率モードの場合

 python train.py -d  -m probability

クロスエントロピーモードの場合

 python train.py -d  -m crossentropy

マルチターゲットモードの場合

 python train.py -d  -m multi_target

トレーニング用の FER+ レイアウト

次のレイアウトを持つ data という名前のフォルダーがあります。

 /data
  /FER2013Test
    label.csv
  /FER2013Train
    label.csv
  /FER2013Valid
    label.csv

各フォルダー内のlabel.csvには、各イメージの実際のラベルが含まれています。イメージ名の形式は ferXXXXXXXX.png です。ここで、XXXXXXXX は元の FER csv ファイルの行インデックスです。最初のいくつかの画像の名前は次のとおりです。

 fer0000000.png
fer0000001.png
fer0000002.png
fer0000003.png

フォルダーには実際の画像は含まれていません。https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data からダウンロードして、 「Training」に対応するすべての画像が FER2013Train フォルダーに配置され、「PublicTest」に対応するすべての画像が FER2013Valid フォルダーに配置され、「PrivateTest」に対応するすべての画像が FER2013Test フォルダーに配置されるように、FER csv ファイルから画像を抽出します。または、次のセクションで説明するように、 generate_training_data.pyスクリプトを使用して上記のすべてを行うこともできます。

トレーニングデータ

fer2013.csvとfer2013new.csvを入力として受け取り、両方の CSV ファイルをマージし、すべての画像をトレーナーが処理できるように PNG ファイルにエクスポートする、Python での単純なスクリプトgenerate_training_data.pyを提供します。

 python generate_training_data.py -d  -fer  -ferplus 

引用

新しい FER+ ラベル、サンプル コード、またはその一部を研究で使用する場合は、以下を引用してください。

@inproceedings{BarsoumICMI2016,
title={クラウドソースのラベル配布を使用した表情認識のためのディープ ネットワークのトレーニング},
author={Barsoum、Emad と Zhang、Cha と Canton Ferrer、Cristian と Zhang、Zhengyou}、
booktitle={ACM マルチモーダル インタラクションに関する国際会議 (ICMI)},
年={2016}
}