SiNC rPPG

SiNC-rPPG

视频生理信号的非对比无监督学习

2023 年计算机视觉与模式识别会议 (CVPR) 亮点论文

纸|视频

图 1：rPPG 的 SiNC 框架与传统监督和无监督学习相比的概述。监督损失和对比损失使用与真实样本或其他样本的距离度量。我们的框架通过塑造频谱并鼓励一批输入的方差，将损失直接应用于预测。带限之外的功率会受到惩罚，以学习不相关频率的不变性。鼓励带限内的功率在峰值频率附近稀疏分布。

内容

• PURE 数据集的预处理代码位于 src/preprocessing/PURE
• 训练代码位于 src/train.py
• 测试代码位于 src/test.py
• 实验配置文件位于 src/args.py
• 损失函数位于 src/utils/losses.py
• 模型架构位于 src/models/ 中
• 数据加载器位于 src/datasets/ 中
• TODO：UBFC-rPPG、DDPM 和 HKBU-MAR 的预处理代码。

安装

使用 python3 安装依赖项：

pip install -r requirements.txt

运行

1.) 要准备训练数据，请下载 PURE 并按照 src/preprocessing/PURE 中的步骤操作

2.) 使用以下方法训练多个模型：

./scripts/train_PURE.sh

3.) 使用以下方法测试模型：

./scripts/test_PURE.sh

笔记

添加新的数据加载器时，请确保将它们添加到 src/datasets/utils.py 中，以便可以从相应的命令行参数中选择它们。您可以通过将新数据集添加到 src/test.py 中的第 30 行来运行跨数据集实验。

引文

如果您使用我们的代码或数据的任何部分，请引用我们的论文。

 @inproceedings{speth2023sinc,
  title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
  author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2023},
}