SiNC-rPPG
การเรียนรู้สัญญาณทางสรีรวิทยาจากวิดีโอแบบไม่ขัดแย้งกันโดยไม่มีผู้ดูแล
เน้นรายงานในการประชุมเกี่ยวกับการมองเห็นคอมพิวเตอร์และการจดจำรูปแบบ (CVPR) 2023
กระดาษ | วีดีโอ
รูปที่ 1: ภาพรวมของกรอบงาน SiNC สำหรับ rPPG เปรียบเทียบกับการเรียนรู้แบบมีผู้สอนและแบบไม่มีผู้ดูแลแบบดั้งเดิม การสูญเสียที่มีการควบคุมดูแลและเปรียบเทียบจะใช้การวัดระยะทางกับความจริงภาคพื้นดินหรือตัวอย่างอื่นๆ กรอบงานของเรานำการสูญเสียไปใช้กับการคาดการณ์โดยตรงโดยการกำหนดสเปกตรัมความถี่ และสนับสนุนให้เกิดความแปรปรวนในชุดอินพุต กำลังที่อยู่นอกขีดจำกัดแบนด์จะถูกลงโทษเพื่อเรียนรู้ค่าคงที่ของความถี่ที่ไม่เกี่ยวข้อง กำลังไฟฟ้าภายในขีดจำกัดแบนด์ได้รับการสนับสนุนให้กระจายอย่างกระจัดกระจายใกล้กับความถี่สูงสุด
สารบัญ
- รหัสการประมวลผลล่วงหน้าสำหรับชุดข้อมูล PURE อยู่ใน src/preprocessing/PURE
- รหัสการฝึกอบรมอยู่ใน src/train.py
- รหัสการทดสอบอยู่ใน src/test.py
- ไฟล์กำหนดค่าการทดสอบอยู่ใน src/args.py
- ฟังก์ชั่นการสูญเสียอยู่ใน src/utils/losses.py
- สถาปัตยกรรมโมเดลอยู่ใน src/models/
- ตัวโหลดข้อมูลอยู่ใน src/datasets/
- สิ่งที่ต้องทำ: การประมวลผลโค้ดล่วงหน้าสำหรับ UBFC-rPPG, DDPM และ HKBU-MAR
การติดตั้ง
ติดตั้งการพึ่งพาด้วย python3:
pip install -r requirements.txt
เพื่อเรียกใช้
1.) เพื่อเตรียมข้อมูลสำหรับการฝึกอบรม ให้ดาวน์โหลด PURE และทำตามขั้นตอนใน src/preprocessing/PURE
2.) ฝึกโมเดลหลายแบบด้วย:
./scripts/train_PURE.sh
3.) ทดสอบโมเดลด้วย:
./scripts/test_PURE.sh
หมายเหตุ
เมื่อมีการเพิ่มตัวโหลดข้อมูลใหม่ ตรวจสอบให้แน่ใจว่าได้เพิ่มลงใน src/datasets/utils.py เพื่อให้สามารถเลือกได้จากอาร์กิวเมนต์บรรทัดคำสั่งที่เกี่ยวข้อง คุณสามารถทำการทดสอบชุดข้อมูลข้ามได้โดยเพิ่มชุดข้อมูลใหม่ไปที่บรรทัดที่ 30 ใน src/test.py
การอ้างอิง
หากคุณใช้ส่วนใดส่วนหนึ่งของโค้ดหรือข้อมูลของเรา โปรดอ้างอิงเอกสารของเรา
@inproceedings{speth2023sinc,
title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2023},
}
