FERPlus

FER+

FER+ 주석은 표준 Emotion FER 데이터 세트에 대한 새로운 레이블 세트를 제공합니다. FER+에서 각 이미지는 10개의 크라우드 소싱 태거로 레이블이 지정되어 원래 FER 레이블보다 정지 이미지 감정에 대한 더 나은 품질의 실제 정보를 제공합니다. 각 이미지에 10개의 태거를 사용하면 연구자가 얼굴별 감정 확률 분포를 추정할 수 있습니다. 이를 통해 https://arxiv.org/abs/1608.01041에 설명된 대로 기존 단일 레이블 출력 대신 통계 분포 또는 다중 레이블 출력을 생성하는 알고리즘을 구성할 수 있습니다.

다음은 위에 언급된 논문(FER 상단, FER+ 하단)에서 추출된 FER 및 FER+ 라벨의 몇 가지 예입니다.

새 레이블 파일의 이름은 fer2013new.csv 이고 원래 fer2013.csv 레이블 파일과 동일한 수의 행을 동일한 순서로 포함하므로 어떤 감정 태그가 어떤 이미지에 속하는지 유추할 수 있습니다. 실제 이미지 콘텐츠를 호스팅할 수 없으므로 여기에서 원본 FER 데이터 세트를 찾으세요: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data

CSV 파일의 형식은 사용법, 중립, 행복, 놀라움, 슬픔, 분노, 혐오, 두려움, 경멸, 알 수 없음, NF입니다. 열 "사용"은 훈련, 공개 테스트 및 비공개 테스트 세트를 구별하기 위해 원래 FER 레이블과 동일합니다. 다른 열은 알 수 없음(unknown)과 NF(Not a Face)를 추가한 각 감정의 투표 수입니다.

훈련

또한 https://arxiv.org/abs/1608.01041에 설명된 모든 훈련 모드(다수, 확률, 교차 엔트로피 및 다중 레이블)에 대한 구현이 포함된 훈련 코드를 제공합니다. 훈련 코드는 https://github.com/Microsoft/CNTK에서 사용할 수 있는 MS Cognitive Toolkit(이전 CNTK)을 사용합니다.

Cognitive Toolkit을 설치하고 데이터 세트를 다운로드한 후(다음에 데이터 세트 레이아웃에 대해 설명하겠습니다) 다음을 실행하여 훈련을 시작할 수 있습니다.

다수결 모드의 경우

 python train.py -d  -m majority

확률 모드의 경우

 python train.py -d  -m probability

교차 엔트로피 모드의 경우

 python train.py -d  -m crossentropy

다중 대상 모드의 경우

 python train.py -d  -m multi_target

훈련을 위한 FER+ 레이아웃

다음과 같은 레이아웃을 가진 data라는 폴더가 있습니다.

 /data
  /FER2013Test
    label.csv
  /FER2013Train
    label.csv
  /FER2013Valid
    label.csv

각 폴더의 label.csv 에는 각 이미지의 실제 레이블이 포함되어 있으며 이미지 이름은 ferXXXXXXXX.png 형식입니다. 여기서 XXXXXXXX는 원본 FER csv 파일의 행 인덱스입니다. 처음 몇 개의 이미지 이름은 다음과 같습니다.

 fer0000000.png
fer0000001.png
fer0000002.png
fer0000003.png

폴더에는 실제 이미지가 포함되어 있지 않습니다. https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data에서 이미지를 다운로드한 다음 압축을 풀어야 합니다. "Training"에 해당하는 모든 이미지는 FER2013Train 폴더로 이동하고 "PublicTest"에 해당하는 모든 이미지는 FER csv 파일의 이미지로 이동합니다. FER2013Valid 폴더와 "PrivateTest"에 해당하는 모든 이미지는 FER2013Test 폴더로 이동됩니다. 또는 generate_training_data.py 스크립트를 사용하여 다음 섹션에서 언급한 대로 위의 모든 작업을 수행할 수 있습니다.

훈련 데이터

우리는 fer2013.csv 및 fer2013new.csv 를 입력으로 사용하고, 두 CSV 파일을 병합하고, 트레이너가 처리할 수 있도록 모든 이미지를 png 파일로 내보내는 간단한 스크립트 generate_training_data.py Python으로 제공합니다.

 python generate_training_data.py -d  -fer  -ferplus 

소환

연구에 새로운 FER+ 라벨이나 샘플 코드 또는 그 일부를 사용하는 경우 다음을 인용하십시오.

@inproceedings{BarsoumICMI2016,
title={크라우드 소싱 라벨 배포를 통한 얼굴 표정 인식을 위한 심층 네트워크 교육},
저자={Barsoum, Emad 및 Zhang, Cha 및 Canton Ferrer, Cristian 및 Zhang, Zhengyou},
booktitle={다중 모드 상호 작용에 관한 ACM 국제 회의(ICMI)},
연도={2016}
}