VKM Download – VKM Quellcode-Download

VKM

Anderer Quellcode

Herunterladen

Voight-Kampff-Maschine (VKM)

Die Voight-Kampff-Maschine ist ein Ansatz zur automatischen Auswahl eines Ablehnungsschwellenwerts für benutzerdefinierte Gesten. Im kontinuierlichen Datenstrom mit hoher Aktivität (HA) sind die Start- und Endpunkte von Gesten unbekannt, und Standardansätze zur Segmentierung basierend auf Regionen mit geringer Aktivität führen zu hohen Falsch-Positiv-Raten. VKM hingegen wählt einen engen Ablehnungsschwellenwert, um die Anzahl falsch positiver und falsch negativer Ergebnisse zu minimieren. Dies bedeutet, dass der Benutzer mit nur wenigen Trainingsbeispielen pro Klasse eine präzise benutzerdefinierte Gestenerkennung erhalten kann, selbst wenn kontinuierliche Daten mit hoher Aktivität vorliegen.

Dieses Repository enthält eine Referenz-Python-VKM-Implementierung mit Unterstützung für Ganzkörper-Kinect-Gesten.

Datensätze

Ein Datensatz mit hoher Aktivität von vier Gerätetypen (Kinect, Maus, Vive Position, Vive Quaternion) ist in der Veröffentlichung enthalten. Der Datensatz wird automatisch heruntergeladen und dekomprimiert, wenn Sie die Datei main.py zum ersten Mal ausführen. Sie können den Datensatz hier auch manuell herunterladen.

Den Code ausführen

Arbeiten an Python 3.9.6 ✅
Windows:

$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py

Linux, Mac (Conda ist der einfachste Weg, M1 zu unterstützen)

$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py

Weitere Details

Für die Veröffentlichung haben wir VKM als Teil einer kontinuierlichen Datenverarbeitungspipeline bewertet, die wir als The Dollar General (TDG) bezeichnen [4]. TDG besteht aus geräteunabhängigen Gestenerkennungstechniken und seine Hauptkomponenten sind: Machete [2], das Regionen vorschlägt, die Gesten sein könnten; Jackknife [1], das die vorgeschlagenen Regionen klassifiziert; VKM [diese Arbeit], das Eingaben ablehnt, die die Ähnlichkeitsschwelle nicht überschreiten. Weitere Informationen zu dieser Forschung und technische Details zum Ansatz finden Sie hier:

Projektseite auf der ISUE Lab-Website.

[1] Taranta II, EM, Samiei, A., Maghoumi, M., Khaloo, P., Pittman, CR und LaViola Jr, J. „Jackknife: Ein zuverlässiger Erkenner mit wenigen Proben und vielen Modalitäten.“ Tagungsband der CHI-Konferenz 2017 über menschliche Faktoren in Computersystemen. 2017.

[2] Taranta II, EM, Pittman, CR, Maghoumi, M., Maslych, M., Moolenaar, YM und Laviola Jr, JJ „Machete: Einfache, effiziente und präzise kontinuierliche Segmentierung benutzerdefinierter Gesten.“ ACM-Transaktionen zur Computer-Mensch-Interaktion (TOCHI) 28.1 (2021): 1-46.

[3] Eugene M. Taranta II, Mehran Maghoumi, Corey R. Pittman und Joseph J. LaViola Jr. „Ein Rapid-Prototyping-Ansatz zur Generierung synthetischer Daten für eine verbesserte 2D-Gestenerkennung.“ Vorträge des 29. jährlichen Symposiums zu Benutzeroberflächensoftware und -technologie. ACM, 2016.

[4] Taranta II, EM, Maslych, M., Ghamandi, R. und Joseph J. LaViola, Jr. „Die Voight-Kampff-Maschine für die automatische Auswahl des Schwellenwerts für die Ablehnung benutzerdefinierter Gesten.“ CHI-Konferenz über menschliche Faktoren in Computersystemen. 2022.

Zitat

Wenn Sie VKM oder den High Activity-Datensatz verwenden, lesen Sie bitte das folgende Dokument:

 @inproceedings{taranta2022_VKM,
    author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
    title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
    year = {2022},
    isbn = {9781450391573},
    publisher = {Association for Computing Machinery},
    address = {New York, NY, USA},
    url = {https://doi.org/10.1145/3491102.3502000},
    doi = {10.1145/3491102.3502000},
    booktitle = {CHI Conference on Human Factors in Computing Systems},
    articleno = {556},
    numpages = {15},
    keywords = {rejection, customization, gesture, recognition},
    location = {New Orleans, LA, USA},
    series = {CHI '22}
}

Beiträge und Fehlerberichte

Beiträge sind willkommen. Bitte reichen Sie Ihre Beiträge als Pull-Requests ein und wir werden sie einbinden. Wenn Sie außerdem Fehler finden, melden Sie diese bitte über den Issue-Tracker.