SiNC-rPPG
Pembelajaran Sinyal Fisiologis Tanpa Pengawasan Non-Kontrastif dari Video
Sorotan makalah dalam Konferensi Visi Komputer dan Pengenalan Pola (CVPR) 2023
Kertas | Video
Gambar 1: Ikhtisar kerangka kerja SiNC untuk rPPG dibandingkan dengan pembelajaran tradisional yang diawasi dan tidak diawasi. Kerugian yang diawasi dan kontrastif menggunakan metrik jarak ke kebenaran dasar atau sampel lainnya. Kerangka kerja kami menerapkan kerugian secara langsung pada prediksi dengan membentuk spektrum frekuensi, dan mendorong varians pada sejumlah input. Kekuatan di luar batas pita dikenakan sanksi untuk mempelajari invarian pada frekuensi yang tidak relevan. Daya dalam batas pita didorong untuk didistribusikan secara jarang di dekat frekuensi puncak.
Isi
- Kode prapemrosesan untuk dataset PURE ada di src/preprocessing/PURE
- Kode pelatihan ada di src/train.py
- Kode pengujian ada di src/test.py
- File konfigurasi eksperimen ada di src/args.py
- Fungsi kerugian ada di src/utils/losses.py
- Arsitektur model ada di src/models/
- Pemuat data ada di src/datasets/
- TODO: kode prapemrosesan untuk UBFC-rPPG, DDPM, dan HKBU-MARs.
Instalasi
Instal dependensi dengan python3:
pip install -r requirements.txt
Untuk Berlari
1.) Untuk mempersiapkan data pelatihan, unduh PURE dan ikuti langkah-langkah di src/preprocessing/PURE
2.) Latih beberapa model dengan:
./scripts/train_PURE.sh
3.) Uji model dengan:
./scripts/test_PURE.sh
Catatan
Saat pemuat data baru ditambahkan, pastikan untuk menambahkannya ke src/datasets/utils.py sehingga dapat dipilih dari argumen baris perintah yang sesuai. Anda dapat menjalankan eksperimen lintas kumpulan data dengan menambahkan kumpulan data baru ke baris 30 di src/test.py.
Kutipan
Jika Anda menggunakan bagian mana pun dari kode atau data kami, silakan kutip makalah kami.
@inproceedings{speth2023sinc,
title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2023},
}
