tacto

TACTO : un simulateur rapide, flexible et open source pour les capteurs tactiles basés sur la vision haute résolution

Ce package fournit un simulateur pour les capteurs tactiles basés sur la vision, tels que DIGIT. Il fournit des modèles pour l'intégration avec PyBullet, ainsi qu'un moteur de rendu de lectures tactiles. Pour plus d'informations, reportez-vous à l'article correspondant TACTO : un simulateur rapide, flexible et open source pour les capteurs tactiles basés sur la vision haute résolution.

REMARQUE : le simulateur n'est pas destiné à fournir une dynamique physiquement précise des contacts (par exemple, déformation, frottement), mais s'appuie plutôt sur les moteurs physiques existants.

Pour les mises à jour et les discussions, veuillez rejoindre la chaîne #TACTO sur la communauté www.touch-sensing.org.

Installation

La méthode d'installation préférée est via PyPi :

pip install tacto

Alternativement, vous pouvez cloner manuellement le référentiel et installer le package en utilisant :

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

Contenu

Ce package contient plusieurs composants :

1. Un moteur de rendu pour simuler les lectures de capteurs tactiles basés sur la vision.
2. Une API pour simuler des capteurs tactiles basés sur la vision dans PyBullet.
3. Modèles de maillage et fichiers de configuration pour les capteurs DIGIT et Omnitact.

Usage

Des packages supplémentaires (torch, gym, pybulletX) sont requis pour exécuter les exemples suivants. Vous pouvez les installer par pip install -r requirements/examples.txt .

Pour un exemple de base sur la façon d'utiliser TACTO en conjonction avec PyBullet, consultez [TBD],

Pour un exemple d'utilisation du moteur de rendu uniquement, consultez examples/demo_render.py.

Pour des exemples avancés d'utilisation du simulateur avec PyBullet, consultez le dossier d'exemples.

• examples/demo_pybullet_digit.py : rendu des lectures RVB et de profondeur avec un capteur DIGIT.

• examples/demo_pybullet_allegro_hand.py : rendu de capteurs à 4 DIGIT sur une Allegro Hand.

• examples/demo_pybullet_omnitact.py : rendu des lectures RVB et de profondeur avec un capteur OmniTact.

• examples/demo_pybullet_grasp.py : monté sur des pinces à mâchoires parallèles et préhension d'objets avec différentes configurations.

• examples/demo_pybullet_rolling.py : faire rouler une bille avec deux capteurs DIGIT.

• examples/demo_pybullet_digit_shadow.py : active le rendu des ombres.

Rendu sans tête

REMARQUE : le moteur de rendu nécessite un écran. Pour un rendu sans tête, utilisez le mode "EGL" avec GPU et pilote CUDA ou "OSMESA" avec CPU. Voir PyRender pour plus de détails.

De plus, installez la version corrigée de PyOpenGL via,

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

Vous pouvez ensuite spécifier le moteur à utiliser pour le rendu sans tête, par exemple :

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

Système opérateur

Nous vous recommandons de mener des expériences sur Ubuntu .

Pour macOS , il existe un problème de visualisation entre pybullet.GUI et pyrender à notre connaissance. Veuillez nous faire savoir si le problème peut être résolu, et nous partagerons l'information lors du dépôt !

Licence

Ce projet est sous licence MIT, comme indiqué dans le fichier LICENSE.

Citer

Si vous utilisez ce projet dans votre recherche, veuillez citer :

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}