tacto

TACTO：用于基于高分辨率视觉的触觉传感器的快速、灵活且开源的模拟器

该软件包为基于视觉的触觉传感器（例如 DIGIT）提供了模拟器。它提供了与 PyBullet 集成的模型，以及触摸读数的渲染器。有关更多信息，请参阅相应的论文 TACTO：用于基于高分辨率视觉的触觉传感器的快速、灵活和开源模拟器。

注意：模拟器并不是要提供物理上精确的接触动态（例如变形、摩擦），而是依赖于现有的物理引擎。

如需更新和讨论，请加入 www.touch-sensing.org 社区的 #TACTO 频道。

安装

首选安装方式是通过 PyPi：

pip install tacto

或者，您可以手动克隆存储库并使用以下命令安装包：

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

内容

该软件包包含几个组件：

1. 一个渲染器，用于模拟基于视觉的触觉传感器的读数。
2. 用于在 PyBullet 中模拟基于视觉的触觉传感器的 API。
3. DIGIT 和 Omnitact 传感器的网格模型和配置文件。

用法

运行以下示例需要额外的软件包（torch、gym、pybulletX）。您可以通过pip install -r requirements/examples.txt安装它们。

有关如何将 TACTO 与 PyBullet 结合使用的基本示例，请参阅 [TBD]，

有关如何仅使用渲染器引擎的示例，请查看 Examples/demo_render.py。

有关如何将模拟器与 PyBullet 一起使用的高级示例，请查看示例文件夹。

• example/demo_pybullet_digit.py：使用数字传感器渲染 RGB 和深度读数。

• example/demo_pybullet_allegro_hand.py：在 Allegro Hand 上渲染 4 位传感器。

• example/demo_pybullet_omnitact.py：使用 OmniTact 传感器渲染 RGB 和深度读数。

• example/demo_pybullet_grasp.py：安装在平行爪夹具上并抓取具有不同配置的物体。

• example/demo_pybullet_rolling.py：用两个数字传感器滚动弹珠。

• example/demo_pybullet_digit_shadow.py：启用阴影渲染。

无头渲染

注意：渲染器需要屏幕。对于无头渲染，请使用带有 GPU 和 CUDA 驱动程序的“EGL”模式或带有 CPU 的“OSMESA”模式。有关更多详细信息，请参阅 PyRender。

此外，通过以下方式安装 PyOpenGL 的修补版本：

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

然后，您可以指定用于无头渲染的引擎，例如，

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

操作系统

我们建议在Ubuntu上进行实验。

据我们所知，对于macOS来说，pybullet.GUI 和 Pyrender 之间存在一些可视化问题。如果可以解决，请告知我们，我们将在存储库中分享信息！

执照

该项目已获得 MIT 许可，如 LICENSE 文件中所示。

引用

如果您在研究中使用该项目，请引用：

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}