SiNC-rPPG
Неконтрастное неконтролируемое изучение физиологических сигналов из видео
Основной доклад на конференции по компьютерному зрению и распознаванию образов (CVPR) 2023
Бумага | Видео
Рисунок 1: Обзор структуры SiNC для rPPG по сравнению с традиционным обучением с учителем и без учителя. Контролируемые и контрастные потери используют метрики расстояния до истины или других образцов. Наша структура применяет потери непосредственно к прогнозу, формируя частотный спектр и поощряя дисперсию по пакету входных данных. Мощность за пределами диапазона наказывается за нарушение инвариантности к нерелевантным частотам. Рекомендуется распределять мощность в пределах полосы частот вблизи пиковой частоты.
Содержание
- Код предварительной обработки для набора данных PURE находится в src/preprocessing/PURE.
- Код обучения находится в src/train.py.
- Код тестирования находится в src/test.py.
- Файл конфигурации эксперимента находится в src/args.py.
- Функции потерь находятся в src/utils/losses.py.
- Архитектуры моделей находятся в src/models/.
- Загрузчики данных находятся в src/datasets/
- TODO: код предварительной обработки для UBFC-rPPG, DDPM и HKBU-MAR.
Установка
Установите зависимости с помощью python3:
pip install -r requirements.txt
Бежать
1.) Чтобы подготовить данные для обучения, загрузите PURE и следуйте инструкциям в src/preprocessing/PURE.
2.) Обучите несколько моделей с помощью:
./scripts/train_PURE.sh
3.) Проверьте модели с помощью:
./scripts/test_PURE.sh
Примечания
При добавлении новых загрузчиков данных обязательно добавляйте их в src/datasets/utils.py, чтобы их можно было выбрать из соответствующего аргумента командной строки. Вы можете проводить эксперименты с несколькими наборами данных, добавляя новые наборы данных в строку 30 в src/test.py.
Цитирование
Если вы используете какую-либо часть нашего кода или данных, пожалуйста, цитируйте нашу статью.
@inproceedings{speth2023sinc,
title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2023},
}
