VKMダウンロード - VKMソースコードのダウンロード

VKM

その他のソースコード

ダウンロード

ボイト・カンプフ・マシン (VKM)

Voight-Kampff Machine は、カスタムジェスチャの拒否しきい値を自動的に選択するアプローチです。高アクティビティ (HA) 連続データストリームでは、ジェスチャの開始点と終了点が不明であり、低アクティビティ領域に基づくセグメンテーションへの標準的なアプローチでは高い誤検知率が発生します。一方、VKM は、偽陽性と偽陰性の数を最小限に抑えるために、厳密な拒否しきい値を選択します。これは、クラスあたりわずか数個のトレーニングサンプルで、連続データのアクティビティが高い場合でも、ユーザーは正確なカスタムジェスチャ認識エンジンを取得できることを意味します。

このリポジトリには、全身 Kinect ジェスチャをサポートするリファレンス Python VKM 実装が含まれています。

データセット

この出版物には、4 つのデバイスタイプ (Kinect、マウス、Vive ポジション、Vive クォータニオン) の高アクティビティデータセットが含まれています。 main.pyファイルを初めて実行するときに、データセットが自動的にダウンロードされ、圧縮が解除されます。ここでデータセットを手動でダウンロードすることもできます。

コードを実行する

Python 3.9.6 に取り組んでいます ✅
Windows:

$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py

Linux、Mac (M1 をサポートする最も簡単な方法は conda です)

$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py

さらに詳しく

この出版に際し、私たちは継続的データ処理パイプラインの一部として VKM を評価しました。これを私たちは The Dollar General (TDG) [4] と呼んでいます。 TDG はデバイスに依存しないジェスチャ認識技術で構成されており、その主なコンポーネントは次のとおりです。 Machete [2]。ジェスチャである可能性のある領域を提案します。 Jackknife [1]、提案された領域を分類します。 VKM [この作品] は、類似性のしきい値を超えない入力を拒否します。この研究の詳細とこのアプローチの技術的な詳細については、以下を参照してください。

ISUE Lab Webサイトのプロジェクトページ。

[1] Taranta II, EM、Samiei, A.、Maghoumi, M.、Khaloo, P.、Pittman, CR、および LaViola Jr, J. 「ジャックナイフ: 少数のサンプルと多くのモダリティを備えた信頼性の高い認識装置。」コンピューティングシステムにおけるヒューマンファクターに関する 2017 CHI 会議の議事録。 2017年。

[2] Taranta II、EM、Pittman、CR、Maghoumi、M.、Maslych、M.、Moolenaar、YM、Laviola Jr, JJ「Machete: 簡単、効率的、正確な連続カスタムジェスチャセグメンテーション」。コンピューターと人間のインタラクションに関する ACM トランザクション (TOCHI) 28.1 (2021): 1-46。

[3] Eugene M. Taranta II、Mehran Maghoumi、Corey R. Pittman、Joseph J. LaViola Jr.「2D ジェスチャ認識を改善するための合成データ生成へのラピッドプロトタイピングアプローチ」。ユーザーインターフェイスソフトウェアとテクノロジーに関する第 29 回年次シンポジウムの議事録。 ACM、2016 年。

[4] Taranta II, EM、Maslych, M.、Ghamandi, R.、および Joseph J. LaViola, Jr.「自動カスタムジェスチャ拒否しきい値選択のための Voight-Kampff マシン」。コンピューティングシステムにおけるヒューマンファクターに関する CHI カンファレンス。 2022年。

引用

VKM または High Activity データセットを使用している場合は、次の論文を参照してください。

 @inproceedings{taranta2022_VKM,
    author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
    title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
    year = {2022},
    isbn = {9781450391573},
    publisher = {Association for Computing Machinery},
    address = {New York, NY, USA},
    url = {https://doi.org/10.1145/3491102.3502000},
    doi = {10.1145/3491102.3502000},
    booktitle = {CHI Conference on Human Factors in Computing Systems},
    articleno = {556},
    numpages = {15},
    keywords = {rejection, customization, gesture, recognition},
    location = {New Orleans, LA, USA},
    series = {CHI '22}
}