SinC-rPPG
Aprendizaje no contrastivo no supervisado de señales fisiológicas a partir de vídeo
Artículo destacado en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones (CVPR) 2023
Papel | Video
Figura 1: Descripción general del marco SiNC para rPPG en comparación con el aprendizaje tradicional supervisado y no supervisado. Las pérdidas supervisadas y contrastantes utilizan métricas de distancia con respecto a la verdad fundamental u otras muestras. Nuestro marco aplica la pérdida directamente a la predicción al dar forma al espectro de frecuencia y fomentar la variación en un lote de entradas. La potencia fuera de los límites de la banda se penaliza para aprender invariancias a frecuencias irrelevantes. Se recomienda que la energía dentro de los límites de la banda se distribuya escasamente cerca de la frecuencia máxima.
Contenido
- El código de preprocesamiento para el conjunto de datos PURE está en src/preprocessing/PURE
- El código de entrenamiento está en src/train.py
- El código de prueba está en src/test.py
- El archivo de configuración del experimento está en src/args.py
- Las funciones de pérdida están en src/utils/losses.py
- Las arquitecturas modelo están en src/models/
- Los cargadores de datos están en src/datasets/
- TODO: código de preprocesamiento para UBFC-rPPG, DDPM y HKBU-MAR.
Instalación
Instalar dependencias con python3:
pip install -r requirements.txt
para correr
1.) Para preparar los datos para el entrenamiento, descargue PURE y siga los pasos en src/preprocessing/PURE
2.) Entrena varios modelos con:
./scripts/train_PURE.sh
3.) Pruebe los modelos con:
./scripts/test_PURE.sh
Notas
Cuando se agreguen nuevos cargadores de datos, asegúrese de agregarlos a src/datasets/utils.py para que puedan seleccionarse desde el argumento de línea de comando correspondiente. Puede ejecutar experimentos entre conjuntos de datos agregando nuevos conjuntos de datos a la línea 30 en src/test.py.
Citación
Si utiliza alguna parte de nuestro código o datos, cite nuestro documento.
@inproceedings{speth2023sinc,
title={Non-Contrastive Unsupervised Learning of Physiological Signals from Video},
author={Speth, Jeremy and Vance, Nathan and Flynn, Patrick and Czajka, Adam},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2023},
}
