SiNC rPPG

SiNC-rPPG

비디오의 생리적 신호에 대한 비대비 비지도 학습

2023년 컴퓨터 비전 및 패턴 인식(CVPR) 컨퍼런스의 하이라이트 논문

종이 | 동영상

그림 1: rPPG용 SiNC 프레임워크 개요를 기존 지도 학습 및 비지도 학습과 비교합니다. 감독 손실과 대조 손실은 실제 또는 기타 샘플에 대한 거리 측정법을 사용합니다. 우리의 프레임워크는 주파수 스펙트럼을 형성하고 입력 배치에 대한 분산을 장려하여 손실을 예측에 직접 적용합니다. 대역 제한을 벗어난 전력은 관련 없는 주파수에 대한 불변성을 학습하기 위해 불이익을 받습니다. 대역 제한 내의 전력은 피크 주파수 근처에 드물게 분산되는 것이 좋습니다.

내용물

• PURE 데이터세트의 전처리 코드는 src/preprocessing/PURE에 있습니다.
• 훈련 코드는 src/train.py에 있습니다.
• 테스트 코드는 src/test.py에 있습니다.
• 실험 구성 파일은 src/args.py에 있습니다.
• 손실 함수는 src/utils/losses.py에 있습니다.
• 모델 아키텍처는 src/models/에 있습니다.
• 데이터로더는 src/datasets/에 있습니다.
• TODO: UBFC-rPPG, DDPM 및 HKBU-MAR에 대한 전처리 코드입니다.

설치

python3을 사용하여 종속성을 설치합니다.

pip install -r requirements.txt

실행하려면

1.) 훈련용 데이터를 준비하려면 PURE를 다운로드하고 src/preprocessing/PURE의 단계를 따르세요.

2.) 다음을 사용하여 여러 모델을 훈련합니다.

./scripts/train_PURE.sh

3.) 다음을 사용하여 모델을 테스트합니다.

./scripts/test_PURE.sh

메모

새 데이터로더가 추가되면 해당 명령줄 인수에서 선택할 수 있도록 src/datasets/utils.py에 추가해야 합니다. src/test.py의 30행에 새 데이터 세트를 추가하여 교차 데이터 세트 실험을 실행할 수 있습니다.

소환

우리 코드나 데이터의 일부를 사용하는 경우 우리 논문을 인용해 주세요.

 @inproceedings{speth2023sinc,
  title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
  author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2023},
}