SiNC rPPG

SiNC-rPPG

視訊生理訊號的非對比無監督學習

2023 年電腦視覺與模式識別會議 (CVPR) 亮點論文

紙|影片

圖 1：rPPG 的 SiNC 框架與傳統監督和無監督學習相比的概述。監督損失和對比損失使用與真實樣本或其他樣本的距離測量。我們的框架透過塑造頻譜並鼓勵一批輸入的方差，將損失直接應用於預測。帶限之外的功率會受到懲罰，以學習不相關頻率的不變性。鼓勵帶限內的功率在峰值頻率附近稀疏分佈。

內容

• PURE 資料集的預處理程式碼位於 src/preprocessing/PURE
• 訓練程式碼位於 src/train.py
• 測試程式碼位於 src/test.py
• 實驗設定檔位於 src/args.py
• 損失函數位於 src/utils/losses.py
• 模型架構位於 src/models/ 中
• 資料載入器位於 src/datasets/ 中
• TODO：UBFC-rPPG、DDPM 和 HKBU-MAR 的預處理程式碼。

安裝

使用 python3 安裝依賴項：

pip install -r requirements.txt

運行

1.) 要準備訓練數據，請下載 PURE 並按照 src/preprocessing/PURE 中的步驟操作

2.) 使用以下方法訓練多個模型：

./scripts/train_PURE.sh

3.) 使用以下方法測試模型：

./scripts/test_PURE.sh

筆記

當您新增的資料載入器時，請確保將它們新增至 src/datasets/utils.py 中，以便可以從對應的命令列參數中選擇它們。您可以透過將新資料集新增至 src/test.py 中的第 30 行來執行跨資料集實驗。

引文

如果您使用我們的程式碼或資料的任何部分，請引用我們的論文。

 @inproceedings{speth2023sinc,
  title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
  author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2023},
}