SiNC-rPPG
التعلم غير الخاضع للرقابة على النقيض من الإشارات الفسيولوجية من الفيديو
تسليط الضوء على ورقة في مؤتمر رؤية الكمبيوتر والتعرف على الأنماط (CVPR) 2023
ورق | فيديو
الشكل 1: نظرة عامة على إطار عمل SiNC لـ rPPG مقارنة بالتعلم التقليدي الخاضع للإشراف وغير الخاضع للإشراف. تستخدم الخسائر الخاضعة للإشراف والتباين مقاييس المسافة إلى الحقيقة الأرضية أو العينات الأخرى. يطبق إطار عملنا الخسارة مباشرة على التنبؤ من خلال تشكيل طيف التردد، وتشجيع التباين على مجموعة من المدخلات. تتم معاقبة الطاقة خارج حدود النطاق لتعلم الثوابت للترددات غير ذات الصلة. يتم تشجيع الطاقة ضمن حدود النطاق على أن تكون موزعة بشكل متناثر بالقرب من تردد الذروة.
محتويات
- كود المعالجة المسبقة لمجموعة بيانات PURE موجود في src/preprocessing/PURE
- رمز التدريب موجود في src/train.py
- رمز الاختبار موجود في src/test.py
- ملف تكوين التجربة موجود في src/args.py
- وظائف الخسارة موجودة في src/utils/losses.py
- البنى النموذجية موجودة في src/models/
- أدوات تحميل البيانات موجودة في src/datasets/
- TODO: كود المعالجة المسبقة لـ UBFC-rPPG وDDPM وHKBU-MARs.
تثبيت
تثبيت التبعيات باستخدام python3:
pip install -r requirements.txt
للتشغيل
1.) لإعداد البيانات للتدريب، قم بتنزيل PURE واتبع الخطوات الموجودة في src/preprocessing/PURE
2.) تدريب عدة نماذج مع:
./scripts/train_PURE.sh
3.) اختبر النماذج باستخدام:
./scripts/test_PURE.sh
ملحوظات
عند إضافة أدوات تحميل بيانات جديدة، تأكد من إضافتها إلى src/datasets/utils.py حتى يمكن تحديدها من وسيطة سطر الأوامر المقابلة. يمكنك إجراء تجارب عبر مجموعات البيانات عن طريق إضافة مجموعات بيانات جديدة إلى السطر 30 في src/test.py.
الاقتباس
إذا كنت تستخدم أي جزء من الكود أو البيانات الخاصة بنا، فيرجى الاستشهاد بورقتنا.
@inproceedings{speth2023sinc,
title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2023},
}
