Voight-Kampff Machine 是一種自動選擇自訂手勢拒絕閾值的方法。在高活動 (HA) 連續資料流中,手勢的起點和終點未知,並且基於低活動區域的標準分割方法會導致較高的誤報率。另一方面,VKM 選擇嚴格的拒絕閾值,以最大限度地減少誤報和漏報的數量。這意味著每個類別只需幾個訓練樣本,即使連續資料活躍度很高,使用者也可以獲得準確的自訂手勢辨識器。
此儲存庫包含一個參考 Python VKM 實現,支援全身 Kinect 手勢。
該出版物中包含四種設備類型(Kinect、滑鼠、Vive Position、Vive Quaternion)的高活動資料集。第一次執行main.py
檔案時,資料集將自動下載並解壓縮。您也可以在此處手動下載資料集。
使用 Python 3.9.6 ✅
視窗:
$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py
Linux、Mac(conda 是支援 M1 的最簡單方法)
$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py
在本出版物中,我們將 VKM 作為連續資料處理管道的一部分進行了評估,我們將其稱為 The Dollar General (TDG) [4]。 TDG 由與設備無關的手勢辨識技術組成,其主要組成部分是:Machete [2],它提出可能是手勢的區域; Jackknife [1],將提議的區域分類; VKM [這項工作],它拒絕未超過相似性閾值的輸入。要了解有關這項研究的更多資訊以及該方法的技術細節,請參閱以下內容:
ISUE 實驗室網站上的專案頁面。
[1] Taranta II, EM、Samiei, A.、Maghoumi, M.、Khaloo, P.、Pittman, CR 和 LaViola Jr, J.「Jackknife:一種樣本少、模態多的可靠識別器」。 2017 年 CHI 計算系統人為因素會議論文集。 2017年。
[2] Taranta II, EM、Pittman, CR、Maghoumi, M.、Maslych, M.、Moolenaar, YM 和 Laviola Jr, JJ“Machete:簡單、高效且精確的連續自訂手勢分割”。 ACM 人機互動交易 (TOCHI) 28.1 (2021):1-46。
[3] Eugene M. Taranta II、Mehran Maghoumi、Corey R. Pittman 和 Joseph J. LaViola Jr.「用於改進 2D 手勢識別的合成數據生成的快速原型方法」。第 29 屆使用者介面軟體與技術年度研討會論文集。美國CM,2016。
[4] Taranta II, EM、Maslych, M.、Ghamandi, R. 和 Joseph J. LaViola, Jr.「用於自動自訂手勢拒絕閾值選擇的 Voight-Kampff 機器」。 CHI 計算系統中的人為因素會議。 2022 年。
如果您發現自己使用 VKM 或 High Activity 資料集,請參考以下論文:
@inproceedings{taranta2022_VKM,
author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
year = {2022},
isbn = {9781450391573},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3491102.3502000},
doi = {10.1145/3491102.3502000},
booktitle = {CHI Conference on Human Factors in Computing Systems},
articleno = {556},
numpages = {15},
keywords = {rejection, customization, gesture, recognition},
location = {New Orleans, LA, USA},
series = {CHI '22}
}
歡迎貢獻。請將您的貢獻作為拉取請求提交,我們將合併它們。另外,如果您發現任何錯誤,請透過問題追蹤器回報。
VKM 可免費用於學術研究目的。我們的許可證文件中提供了更多詳細資訊。