Voight-Kampff Machine 是一种自动选择自定义手势拒绝阈值的方法。在高活动 (HA) 连续数据流中,手势的起点和终点未知,并且基于低活动区域的标准分割方法会导致较高的误报率。另一方面,VKM 选择严格的拒绝阈值,以最大限度地减少误报和漏报的数量。这意味着每个类只需几个训练样本,即使连续数据活跃度很高,用户也可以获得准确的自定义手势识别器。
此存储库包含一个参考 Python VKM 实现,支持全身 Kinect 手势。
该出版物中包含四种设备类型(Kinect、鼠标、Vive Position、Vive Quaternion)的高活动数据集。第一次运行main.py
文件时,数据集将自动下载并解压缩。您也可以在此处手动下载数据集。
使用 Python 3.9.6 ✅
视窗:
$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py
Linux、Mac(conda 是支持 M1 的最简单方法)
$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py
在本出版物中,我们将 VKM 作为连续数据处理管道的一部分进行了评估,我们将其称为 The Dollar General (TDG) [4]。 TDG 由与设备无关的手势识别技术组成,其主要组成部分是:Machete [2],它提出可能是手势的区域; Jackknife [1],对提议的区域进行分类; VKM [这项工作],它拒绝未超过相似性阈值的输入。要了解有关这项研究的更多信息以及该方法的技术细节,请参阅以下内容:
ISUE 实验室网站上的项目页面。
[1] Taranta II, EM、Samiei, A.、Maghoumi, M.、Khaloo, P.、Pittman, CR 和 LaViola Jr, J.“Jackknife:一种样本少、模态多的可靠识别器”。 2017 年 CHI 计算系统人为因素会议论文集。 2017年。
[2] Taranta II, EM、Pittman, CR、Maghoumi, M.、Maslych, M.、Moolenaar, YM 和 Laviola Jr, JJ“Machete:简单、高效且精确的连续自定义手势分割”。 ACM 人机交互交易 (TOCHI) 28.1 (2021):1-46。
[3] Eugene M. Taranta II、Mehran Maghoumi、Corey R. Pittman 和 Joseph J. LaViola Jr.“用于改进 2D 手势识别的合成数据生成的快速原型方法”。第 29 届用户界面软件和技术年度研讨会论文集。美国CM,2016。
[4] Taranta II, EM、Maslych, M.、Ghamandi, R. 和 Joseph J. LaViola, Jr.“用于自动自定义手势拒绝阈值选择的 Voight-Kampff 机器”。 CHI 计算系统中的人为因素会议。 2022 年。
如果您发现自己使用 VKM 或 High Activity 数据集,请参考以下论文:
@inproceedings{taranta2022_VKM,
author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
year = {2022},
isbn = {9781450391573},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3491102.3502000},
doi = {10.1145/3491102.3502000},
booktitle = {CHI Conference on Human Factors in Computing Systems},
articleno = {556},
numpages = {15},
keywords = {rejection, customization, gesture, recognition},
location = {New Orleans, LA, USA},
series = {CHI '22}
}
欢迎贡献。请将您的贡献作为拉取请求提交,我们将合并它们。另外,如果您发现任何错误,请通过问题跟踪器报告。
VKM 可免费用于学术研究目的。我们的许可证文件中提供了更多详细信息。