SiNC rPPG

SiNC-rPPG

ビデオからの生理学的信号の非対照的教師なし学習

Conference on Computer Vision and Pattern Recognition (CVPR) 2023 のハイライト論文

紙 |ビデオ

図 1: 従来の教師あり学習および教師なし学習と比較した、rPPG の SiNC フレームワークの概要。教師付き損失と対比損失では、グラウンド トゥルースまたは他のサンプルまでの距離メトリックが使用されます。私たちのフレームワークは、周波数スペクトルを形成し、入力のバッチ全体にわたる分散を促進することにより、損失を予測に直接適用します。帯域制限外のパワーには、無関係な周波数に対する不変性を学習するペナルティが課されます。帯域制限内の電力は、ピーク周波数付近でまばらに分散することが推奨されます。

コンテンツ

• PURE データセットの前処理コードは src/preprocessing/PURE にあります
• トレーニング コードは src/train.py にあります
• テストコードは src/test.py にあります
• 実験構成ファイルは src/args.py にあります
• 損失関数は src/utils/losses.py にあります。
• モデルのアーキテクチャは src/models/ にあります。
• データローダーは src/datasets/ にあります。
• TODO: UBFC-rPPG、DDPM、および HKBU-MAR の前処理コード。

インストール

python3 で依存関係をインストールします。

pip install -r requirements.txt

走るために

1.) トレーニング用のデータを準備するには、PURE をダウンロードし、src/preprocessing/PURE の手順に従います。

2.) 以下を使用して複数のモデルをトレーニングします。

./scripts/train_PURE.sh

3.) 以下を使用してモデルをテストします。

./scripts/test_PURE.sh

注意事項

新しいデータローダーを追加する場合は、対応するコマンドライン引数から選択できるように、必ず src/datasets/utils.py に追加してください。 src/test.py の 30 行目に新しいデータセットを追加することで、クロスデータセット実験を実行できます。

引用

私たちのコードやデータの一部を使用する場合は、論文を引用してください。

 @inproceedings{speth2023sinc,
  title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
  author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2023},
}