Descarga VKM - Descarga del código fuente VKM

VKM

Otro código fuente

Descargar

Máquina Voight-Kampff (VKM)

La máquina Voight-Kampff es un método para seleccionar automáticamente un umbral de rechazo para gestos personalizados. En el flujo continuo de datos de alta actividad (HA), se desconocen los puntos de inicio y finalización de los gestos, y los enfoques estándar de segmentación basados en regiones de baja actividad dan como resultado altas tasas de falsos positivos. VKM, por otro lado, selecciona un umbral de rechazo estricto para minimizar el número de falsos positivos y falsos negativos. Esto significa que con solo unas pocas muestras de entrenamiento por clase, el usuario puede obtener un reconocedor de gestos personalizado y preciso incluso cuando los datos continuos son de alta actividad.

Este repositorio contiene una implementación de Python VKM de referencia con soporte para gestos de Kinect de cuerpo completo.

Conjuntos de datos

Con la publicación se incluye un conjunto de datos de alta actividad de cuatro tipos de dispositivos (Kinect, Mouse, Vive Position, Vive Quaternion). El conjunto de datos se descargará y descomprimirá automáticamente la primera vez que ejecute el archivo main.py También puede descargar manualmente el conjunto de datos aquí.

Ejecutando el código

Trabajando en Python 3.9.6 ✅
Ventanas:

$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py

Linux, Mac (conda es la forma más sencilla de admitir M1)

$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py

Más detalles

Para la publicación, evaluamos VKM como parte de un proceso continuo de procesamiento de datos, al que nos referimos como The Dollar General (TDG) [4]. TDG consta de técnicas de reconocimiento de gestos independientes del dispositivo, y sus componentes principales son: Machete [2], que propone regiones que podrían ser gestos; Jackknife [1], que clasifica las regiones propuestas; VKM [este trabajo], que rechaza entradas que no cruzan el umbral de similitud. Para obtener más información sobre esta investigación y detalles técnicos sobre el enfoque, consulte lo siguiente:

Página del proyecto en el sitio web de ISUE Lab.

[1] Taranta II, EM, Samiei, A., Maghoumi, M., Khaloo, P., Pittman, CR y LaViola Jr, J. "Jackknife: un reconocedor confiable con pocas muestras y muchas modalidades". Actas de la Conferencia CHI de 2017 sobre factores humanos en sistemas informáticos. 2017.

[2] Taranta II, EM, Pittman, CR, Maghoumi, M., Maslych, M., Moolenaar, YM y Laviola Jr, JJ "Machete: Segmentación de gestos personalizada continua fácil, eficiente y precisa". Transacciones ACM sobre interacción computadora-humano (TOCHI) 28.1 (2021): 1-46.

[3] Eugene M. Taranta II, Mehran Maghoumi, Corey R. Pittman y Joseph J. LaViola Jr. "Un enfoque de creación rápida de prototipos para la generación de datos sintéticos para mejorar el reconocimiento de gestos 2D". Actas del 29º Simposio anual sobre tecnología y software de interfaz de usuario. ACM, 2016.

[4] Taranta II, EM, Maslych, M., Ghamandi, R. y Joseph J. LaViola, Jr. "La máquina Voight-Kampff para la selección automática de umbrales de rechazo de gestos personalizados". Conferencia CHI sobre factores humanos en sistemas informáticos. 2022.

Citación

Si utiliza VKM o el conjunto de datos de alta actividad, consulte el siguiente documento:

 @inproceedings{taranta2022_VKM,
    author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
    title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
    year = {2022},
    isbn = {9781450391573},
    publisher = {Association for Computing Machinery},
    address = {New York, NY, USA},
    url = {https://doi.org/10.1145/3491102.3502000},
    doi = {10.1145/3491102.3502000},
    booktitle = {CHI Conference on Human Factors in Computing Systems},
    articleno = {556},
    numpages = {15},
    keywords = {rejection, customization, gesture, recognition},
    location = {New Orleans, LA, USA},
    series = {CHI '22}
}

Contribuciones e informes de errores

Las contribuciones son bienvenidas. Envíe sus contribuciones como solicitudes de extracción y las incorporaremos. Además, si encuentra algún error, infórmelo a través del rastreador de problemas.