tacto

TACTO: Ein schneller, flexibler und Open-Source-Simulator für hochauflösende, visionsbasierte taktile Sensoren

Dieses Paket stellt einen Simulator für visionbasierte taktile Sensoren wie DIGIT bereit. Es bietet Modelle für die Integration mit PyBullet sowie einen Renderer für Touch-Messwerte. Weitere Informationen finden Sie im entsprechenden Dokument TACTO: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors.

HINWEIS: Der Simulator soll keine physikalisch genaue Dynamik der Kontakte (z. B. Verformung, Reibung) liefern, sondern basiert vielmehr auf vorhandenen Physik-Engines.

Für Updates und Diskussionen treten Sie bitte dem #TACTO-Kanal in der Community www.touch-sensing.org bei.

Installation

Die bevorzugte Installationsart ist über PyPi:

pip install tacto

Alternativ können Sie das Repository manuell klonen und das Paket installieren, indem Sie Folgendes verwenden:

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

Inhalt

Dieses Paket enthält mehrere Komponenten:

1. Ein Renderer zur Simulation von Messwerten von visionsbasierten taktilen Sensoren.
2. Eine API zur Simulation visionbasierter taktiler Sensoren in PyBullet.
3. Netzmodelle und Konfigurationsdateien für die DIGIT- und Omnitact-Sensoren.

Verwendung

Zum Ausführen der folgenden Beispiele sind zusätzliche Pakete (Torch, Gym, PybulletX) erforderlich. Sie können sie mit pip install -r requirements/examples.txt installieren.

Ein einfaches Beispiel für die Verwendung von TACTO in Verbindung mit PyBullet finden Sie unter [TBD],

Ein Beispiel für die Verwendung nur der Renderer-Engine finden Sie unter examples/demo_render.py.

Erweiterte Beispiele für die Verwendung des Simulators mit PyBullet finden Sie im Beispielordner.

• examples/demo_pybullet_digit.py: Rendern von RGB- und Tiefenmesswerten mit einem DIGIT-Sensor.

• examples/demo_pybullet_allegro_hand.py: Rendern von 4 DIGIT-Sensoren auf einer Allegro Hand.

• examples/demo_pybullet_omnitact.py: Rendern von RGB- und Tiefenmesswerten mit einem OmniTact-Sensor.

• examples/demo_pybullet_grasp.py: montiert auf Greifern mit parallelen Backen und zum Greifen von Objekten mit unterschiedlichen Konfigurationen.

• examples/demo_pybullet_rolling.py: Rollen einer Murmel mit zwei DIGIT-Sensoren.

• examples/demo_pybullet_digit_shadow.py: Schattenrendering aktivieren.

Headless-Rendering

HINWEIS: Der Renderer benötigt einen Bildschirm. Für das Headless-Rendering verwenden Sie den „EGL“-Modus mit GPU und CUDA-Treiber oder „OSMESA“ mit CPU. Weitere Informationen finden Sie unter PyRender.

Installieren Sie außerdem die gepatchte Version von PyOpenGL über:

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

Anschließend können Sie beispielsweise angeben, welche Engine für das Headless-Rendering verwendet werden soll.

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

Betriebssystem

Wir empfehlen, Experimente unter Ubuntu durchzuführen.

Für macOS gibt es unseres Wissens einige Visualisierungsprobleme zwischen pybullet.GUI und pyrender. Bitte lassen Sie uns wissen, ob das Problem gelöst werden kann, und wir werden die Informationen im Repo weitergeben!

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert, wie in der LICENSE-Datei zu finden.

Zitieren

Wenn Sie dieses Projekt in Ihrer Forschung verwenden, zitieren Sie bitte:

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}