Загрузка VKM - Загрузка исходного кода VKM

VKM

Другой исходный код

Скачать

Машина Войта-Кампфа (ВКМ)

Voight-Kampff Machine — это метод автоматического выбора порога отклонения для пользовательских жестов. В непрерывном потоке данных с высокой активностью (HA) начальная и конечная точки жестов неизвестны, а стандартные подходы к сегментации на основе областей с низкой активностью приводят к высокому уровню ложноположительных результатов. VKM, с другой стороны, выбирает жесткий порог отклонения, чтобы свести к минимуму количество ложноположительных и ложноотрицательных результатов. Это означает, что, используя всего несколько обучающих выборок на класс, пользователь может получить точный собственный распознаватель жестов, даже если непрерывные данные отличаются высокой активностью.

Этот репозиторий содержит эталонную реализацию Python VKM с поддержкой жестов Kinect всего тела.

Наборы данных

В публикацию включен набор данных о высокой активности четырех типов устройств (Kinect, Mouse, Vive Position, Vive Quaternion). Набор данных будет автоматически загружен и распакован при первом запуске файла main.py Вы также можете вручную загрузить набор данных здесь.

Запуск кода

Работаем на Python 3.9.6 ✅
Окна:

$ git clone https://github.com/ISUE/VKM
$ cd VKMpython
$ python -m venv myenv
$ myenvScriptsactivate
$ pip install numpy
$ python main.py

Linux, Mac (conda — самый простой способ поддержки M1)

$ git clone https://github.com/ISUE/VKM
$ cd VKM/python
$ conda create -n myenv python=3.9.6 numpy
$ conda activate myenv
$ python main.py

Подробнее

Для публикации мы оценили VKM как часть конвейера непрерывной обработки данных, который мы называем The Dollar General (TDG) [4]. TDG состоит из методов распознавания жестов, не зависящих от устройства, и его основными компонентами являются: Machete [2], который предлагает области, которые могут быть жестами; Складной нож [1], классифицирующий предлагаемые регионы; ВКМ [эта работа], которая отклоняет входные данные, не превышающие порог сходства. Чтобы узнать больше об этом исследовании и технические подробности подхода, пожалуйста, обратитесь к следующему:

Страница проекта на сайте Лаборатории ИГЭУ.

[1] Таранта II, Э.М., Самиеи, А., Магуми, М., Халу, П., Питтман, Ч.Р. и ЛаВиола-младший, Дж. «Складной нож: надежный распознаватель с небольшим количеством образцов и множеством модальностей». Материалы конференции CHI 2017 г. по человеческому фактору в вычислительных системах. 2017.

[2] Таранта II, Э.М., Питтман, Ч.Р., Магхуми, М., Маслич, М., Муленаар, Ю.М. и Лавиола-младший, Дж.Дж. «Мачете: простая, эффективная и точная непрерывная сегментация настраиваемых жестов». Транзакции ACM при взаимодействии компьютера и человека (TOCHI) 28.1 (2021): 1-46.

[3] Юджин М. Таранта II, Мехран Магхуми, Кори Р. Питтман и Джозеф Дж. ЛаВиола-младший «Подход к быстрому прототипированию для генерации синтетических данных для улучшения распознавания двумерных жестов». Материалы 29-го ежегодного симпозиума по программному обеспечению и технологиям пользовательского интерфейса. АКМ, 2016.

[4] Таранта II, Э.М., Маслыч, М., Гаманди, Р. и Джозеф Дж. ЛаВиола-младший. «Машина Войта-Кампфа для автоматического выбора порога отклонения пользовательских жестов». Конференция CHI по человеческому фактору в вычислительных системах. 2022.

Цитирование

Если вы используете VKM или набор данных High Activity, обратитесь к следующему документу:

 @inproceedings{taranta2022_VKM,
    author = {Taranta, Eugene Matthew and Maslych, Mykola and Ghamandi, Ryan and LaViola, Joseph},
    title = {The Voight-Kampff Machine for Automatic Custom Gesture Rejection Threshold Selection},
    year = {2022},
    isbn = {9781450391573},
    publisher = {Association for Computing Machinery},
    address = {New York, NY, USA},
    url = {https://doi.org/10.1145/3491102.3502000},
    doi = {10.1145/3491102.3502000},
    booktitle = {CHI Conference on Human Factors in Computing Systems},
    articleno = {556},
    numpages = {15},
    keywords = {rejection, customization, gesture, recognition},
    location = {New Orleans, LA, USA},
    series = {CHI '22}
}

Вклады и отчеты об ошибках

Взносы приветствуются. Пожалуйста, отправьте свой вклад в виде запроса на включение, и мы включим его. Кроме того, если вы обнаружите какие-либо ошибки, сообщите о них через систему отслеживания ошибок.