Voight-Kampff Machine은 사용자 정의 제스처에 대한 거부 임계값을 자동으로 선택하는 접근 방식입니다. 고활동(HA) 연속 데이터 스트림에서는 제스처의 시작점과 끝점을 알 수 없으며 활동성이 낮은 영역을 기반으로 한 분할에 대한 표준 접근 방식으로 인해 오탐률이 높습니다. 반면 VKM은 거짓양성 및 거짓음성의 수를 최소화하기 위해 엄격한 거부 임계값을 선택합니다. 이는 클래스당 몇 개의 훈련 샘플만으로 연속 데이터의 활동이 많을 때에도 사용자가 정확한 사용자 정의 제스처 인식기를 얻을 수 있음을 의미합니다.
이 리포지토리에는 전신 Kinect 제스처를 지원하는 참조 Python VKM 구현이 포함되어 있습니다.
네 가지 장치 유형(Kinect, 마우스, Vive Position, Vive Quaternion)의 활동성이 높은 데이터 세트가 출판물에 포함되어 있습니다. 데이터세트는 main.py
파일을 처음 실행할 때 자동으로 다운로드되고 압축이 해제됩니다. 여기에서 데이터 세트를 수동으로 다운로드할 수도 있습니다.
Python 3.9.6에서 작업 중 ✅
윈도우:
$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py
Linux, Mac(conda는 M1을 지원하는 가장 쉬운 방법입니다)
$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py
출판을 위해 우리는 The Dollar General(TDG)[4]이라고 하는 지속적인 데이터 처리 파이프라인의 일부로 VKM을 평가했습니다. TDG는 장치에 구애받지 않는 제스처 인식 기술로 구성되며 주요 구성 요소는 다음과 같습니다. 제스처가 될 수 있는 영역을 제안하는 Machete [2]; 제안된 지역을 분류하는 Jackknife [1]; 유사성 임계값을 넘지 않는 입력을 거부하는 VKM [이 작업]. 이 연구에 대한 자세한 내용과 접근 방식에 대한 기술적 세부 사항은 다음을 참조하십시오.
ISUE Lab 웹사이트의 프로젝트 페이지.
[1] Taranta II, EM, Samiei, A., Maghoumi, M., Khaloo, P., Pittman, CR 및 LaViola Jr, J. "Jackknife: 샘플이 적고 양식이 많은 신뢰할 수 있는 인식기." 컴퓨팅 시스템의 인적 요소에 관한 2017 CHI 회의 간행물. 2017.
[2] Taranta II, EM, Pittman, CR, Maghoumi, M., Maslych, M., Moolenaar, YM 및 Laviola Jr, JJ "Machete: 쉽고 효율적이며 정확한 연속 사용자 정의 제스처 분할." 컴퓨터-인간 상호 작용에 대한 ACM 트랜잭션(TOCHI) 28.1(2021): 1-46.
[3] Eugene M. Taranta II, Mehran Maghoumi, Corey R. Pittman 및 Joseph J. LaViola Jr. "향상된 2D 제스처 인식을 위한 합성 데이터 생성에 대한 신속한 프로토타이핑 접근 방식." 사용자 인터페이스 소프트웨어 및 기술에 관한 제29차 연례 심포지엄 진행. ACM, 2016.
[4] Taranta II, EM, Maslych, M., Ghamandi, R. 및 Joseph J. LaViola, Jr. "자동 사용자 정의 제스처 거부 임계값 선택을 위한 Voight-Kampff 기계." 컴퓨팅 시스템의 인적 요소에 관한 CHI 회의. 2022.
VKM 또는 High Activity 데이터세트를 사용하는 경우 다음 문서를 참조하세요.
@inproceedings{taranta2022_VKM,
author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
year = {2022},
isbn = {9781450391573},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3491102.3502000},
doi = {10.1145/3491102.3502000},
booktitle = {CHI Conference on Human Factors in Computing Systems},
articleno = {556},
numpages = {15},
keywords = {rejection, customization, gesture, recognition},
location = {New Orleans, LA, USA},
series = {CHI '22}
}
기여를 환영합니다. 귀하의 기여를 끌어오기 요청으로 제출해 주시면 이를 통합해 드리겠습니다. 또한, 버그를 발견한 경우 이슈 트래커를 통해 신고해 주시기 바랍니다.
VKM은 학술 연구 목적으로 자유롭게 사용할 수 있습니다. 자세한 내용은 라이센스 파일에서 확인할 수 있습니다.