Téléchargement VKM - Téléchargement du code source VKM

VKM

Autre code source

Télécharger

Machine Voight-Kampff (VKM)

Voight-Kampff Machine est une approche permettant de sélectionner automatiquement un seuil de rejet pour les gestes personnalisés. Dans le flux de données continu à haute activité (HA), les points de début et de fin des gestes sont inconnus, et les approches standard de segmentation basées sur des régions de faible activité entraînent des taux de faux positifs élevés. VKM, quant à lui, sélectionne un seuil de rejet strict afin de minimiser le nombre de faux positifs et de faux négatifs. Cela signifie qu'avec seulement quelques échantillons de formation par classe, l'utilisateur peut obtenir une reconnaissance de gestes personnalisée et précise, même lorsque les données continues sont très actives.

Ce référentiel contient une implémentation de référence Python VKM avec prise en charge des gestes Kinect sur tout le corps.

Ensembles de données

Un ensemble de données à haute activité de quatre types d'appareils (Kinect, Mouse, Vive Position, Vive Quaternion) est inclus dans la publication. L'ensemble de données sera automatiquement téléchargé et décompressé la première fois que vous exécuterez le fichier main.py Vous pouvez également télécharger manuellement l'ensemble de données ici.

Exécuter le code

Travailler sur Python 3.9.6 ✅
Fenêtres :

$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py

Linux, Mac (conda est le moyen le plus simple de prendre en charge M1)

$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py

Plus de détails

Pour la publication, nous avons évalué VKM dans le cadre d'un pipeline de traitement continu des données, auquel nous faisons référence sous le nom de The Dollar General (TDG) [4]. TDG consiste en des techniques de reconnaissance gestuelle indépendantes de l'appareil, et ses principaux composants sont : Machete [2], qui propose des régions qui pourraient être des gestes ; Jackknife [1], qui classe les régions proposées ; VKM [ce travail], qui rejette les entrées qui ne dépassent pas le seuil de similarité. Pour en savoir plus sur cette recherche et pour obtenir des détails techniques sur l’approche, veuillez vous référer à ce qui suit :

Page du projet sur le site Web de l'ISUE Lab.

[1] Taranta II, EM, Samiei, A., Maghoumi, M., Khaloo, P., Pittman, CR et LaViola Jr, J. "Jackknife : un outil de reconnaissance fiable avec peu d'échantillons et de nombreuses modalités." Actes de la conférence CHI 2017 sur les facteurs humains dans les systèmes informatiques. 2017.

[2] Taranta II, EM, Pittman, CR, Maghoumi, M., Maslych, M., Moolenaar, YM et Laviola Jr, JJ "Machette : segmentation gestuelle personnalisée continue facile, efficace et précise." Transactions ACM sur l'interaction ordinateur-humain (TOCHI) 28.1 (2021) : 1-46.

[3] Eugene M. Taranta II, Mehran Maghoumi, Corey R. Pittman et Joseph J. LaViola Jr. « Une approche de prototypage rapide pour la génération de données synthétiques pour une reconnaissance gestuelle 2D améliorée. » Actes du 29e Symposium annuel sur les logiciels et la technologie d'interface utilisateur. ACM, 2016.

[4] Taranta II, EM, Maslych, M., Ghamandi, R. et Joseph J. LaViola, Jr. "La machine Voight-Kampff pour la sélection automatique du seuil de rejet des gestes personnalisés." Conférence CHI sur les facteurs humains dans les systèmes informatiques. 2022.

Citation

Si vous utilisez VKM ou l'ensemble de données High Activity, veuillez vous référer au document suivant :

 @inproceedings{taranta2022_VKM,
    author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
    title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
    year = {2022},
    isbn = {9781450391573},
    publisher = {Association for Computing Machinery},
    address = {New York, NY, USA},
    url = {https://doi.org/10.1145/3491102.3502000},
    doi = {10.1145/3491102.3502000},
    booktitle = {CHI Conference on Human Factors in Computing Systems},
    articleno = {556},
    numpages = {15},
    keywords = {rejection, customization, gesture, recognition},
    location = {New Orleans, LA, USA},
    series = {CHI '22}
}

Contributions et rapports de bogues

Les contributions sont les bienvenues. Veuillez soumettre vos contributions sous forme de demandes de tirage et nous les intégrerons. De plus, si vous trouvez des bugs, veuillez les signaler via le suivi des problèmes.