tacto

TACTO：用於基於高解析度視覺的觸覺感測器的快速、靈活且開源的模擬器

該軟體包為基於視覺的觸覺感測器（例如 DIGIT）提供了模擬器。它提供了與 PyBullet 整合的模型，以及觸控讀數的渲染器。有關更多信息，請參閱相應的論文 TACTO：用於基於高分辨率視覺的觸覺感測器的快速、靈活和開源模擬器。

注意：模擬器並不是要提供物理上精確的接觸動態（例如變形、摩擦），而是依賴現有的實體引擎。

如需更新和討論，請加入 www.touch-sensing.org 社區的 #TACTO 頻道。

安裝

首選安裝方式是透過 PyPi：

pip install tacto

或者，您可以手動複製儲存庫並使用以下命令安裝套件：

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

內容

該軟體包包含幾個組件：

1. 一個渲染器，用於模擬基於視覺的觸覺感測器的讀數。
2. 用於在 PyBullet 中模擬基於視覺的觸覺感測器的 API。
3. DIGIT 和 Omnitact 感測器的網格模型和設定檔。

用法

執行以下範例需要額外的軟體包（torch、gym、pybulletX）。您可以透過pip install -r requirements/examples.txt安裝它們。

有關如何將 TACTO 與 PyBullet 結合使用的基本範例，請參閱 [TBD]，

有關如何僅使用渲染器引擎的範例，請查看 Examples/demo_render.py。

有關如何將模擬器與 PyBullet 一起使用的進階範例，請查看範例資料夾。

• example/demo_pybullet_digit.py：使用數位感測器渲染 RGB 和深度讀數。

• example/demo_pybullet_allegro_hand.py：在 Allegro Hand 上渲染 4 位元感應器。

• example/demo_pybullet_omnitact.py：使用 OmniTact 感測器渲染 RGB 和深度讀數。

• example/demo_pybullet_grasp.py：安裝在平行爪夾具上並抓取具有不同配置的物件。

• example/demo_pybullet_rolling.py：用兩個數位感測器滾動彈珠。

• example/demo_pybullet_digit_shadow.py：啟用陰影渲染。

無頭渲染

注意：渲染器需要螢幕。對於無頭渲染，請使用具有 GPU 和 CUDA 驅動程式的“EGL”模式或帶有 CPU 的“OSMESA”模式。有關更多詳細信息，請參閱 PyRender。

此外，透過以下方式安裝 PyOpenGL 的修補版本：

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

然後，您可以指定用於無頭渲染的引擎，例如，

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

作業系統

我們建議在Ubuntu上進行實驗。

據我們所知，對於macOS來說，pybullet.GUI 和 Pyrender 之間存在一些視覺化問題。如果可以解決，請告知我們，我們將在儲存庫中分享資訊！

執照

該專案已獲得 MIT 許可，如 LICENSE 文件中所示。

引用

如果您在研究中使用該項目，請引用：

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}