tacto

TACTO: быстрый, гибкий симулятор с открытым исходным кодом для тактильных датчиков на основе машинного зрения высокого разрешения.

Этот пакет представляет собой симулятор тактильных датчиков на основе машинного зрения, таких как DIGIT. Он предоставляет модели для интеграции с PyBullet, а также средство визуализации сенсорных показаний. Для получения дополнительной информации обратитесь к соответствующему документу TACTO: быстрый, гибкий симулятор с открытым исходным кодом для тактильных датчиков на основе машинного зрения с высоким разрешением.

ПРИМЕЧАНИЕ. Симулятор не предназначен для обеспечения физически точной динамики контактов (например, деформации, трения), а скорее опирается на существующие физические движки.

Для получения обновлений и обсуждений присоединяйтесь к каналу #TACTO в сообществе www.touch-sensing.org.

Установка

Предпочтительный способ установки — через PyPi:

pip install tacto

Альтернативно вы можете вручную клонировать репозиторий и установить пакет, используя:

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

Содержание

Этот пакет содержит несколько компонентов:

1. Средство визуализации для имитации показаний тактильных датчиков на основе машинного зрения.
2. API для моделирования тактильных датчиков на основе машинного зрения в PyBullet.
3. Модели сетки и файлы конфигурации для датчиков DIGIT и Omnitact.

Использование

Для запуска следующих примеров требуются дополнительные пакеты (torch, Gym, pybulletX). Вы можете установить их с помощью pip install -r requirements/examples.txt .

Базовый пример использования TACTO в сочетании с PyBullet см. в [TBD]

Пример использования только механизма рендеринга см. в файле example/demo_render.py.

Более сложные примеры использования симулятора с PyBullet можно найти в папке примеров.

• example/demo_pybullet_digit.py: отображение показаний RGB и глубины с помощью датчика DIGIT.

• example/demo_pybullet_allegro_hand.py: рендеринг 4-х ЦИФРОВЫХ датчиков на руке Аллегро.

• example/demo_pybullet_omnitact.py: отображение показаний RGB и глубины с помощью датчика OmniTact.

• example/demo_pybullet_grasp.py: устанавливается на захваты с параллельными губками и захватывает объекты различной конфигурации.

• example/demo_pybullet_rolling.py: катание шарика с помощью двух датчиков DIGIT.

• example/demo_pybullet_digit_shadow.py: включить рендеринг теней.

Безголовый рендеринг

ПРИМЕЧАНИЕ. Для рендеринга требуется экран. Для рендеринга без головы используйте режим «EGL» с графическим процессором и драйвером CUDA или режим «OSMESA» с процессором. Дополнительную информацию см. в PyRender.

Кроме того, установите исправленную версию PyOpenGL через:

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

Затем вы можете указать, какой движок использовать для безголового рендеринга, например:

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

Операционная система

Рекомендуем проводить эксперименты на Ubuntu .

Насколько нам известно, в macOS существует некоторая проблема визуализации между pybullet.GUI и Pyrender. Пожалуйста, дайте нам знать, если эту проблему можно решить, и мы поделимся информацией в репозитории!

Лицензия

Этот проект лицензируется по лицензии MIT, как указано в файле LICENSE.

Цитирование

Если вы используете этот проект в своих исследованиях, укажите:

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}