tacto

TACTO: um simulador rápido, flexível e de código aberto para sensores táteis baseados em visão de alta resolução

Este pacote fornece um simulador para sensores táteis baseados em visão, como o DIGIT. Fornece modelos para integração com PyBullet, bem como um renderizador de leituras de toque. Para obter mais informações, consulte o artigo correspondente TACTO: um simulador rápido, flexível e de código aberto para sensores táteis baseados em visão de alta resolução.

NOTA: o simulador não se destina a fornecer uma dinâmica fisicamente precisa dos contatos (por exemplo, deformação, fricção), mas depende de motores físicos existentes.

Para atualizações e discussões, junte-se ao canal #TACTO na comunidade www.touch-sensing.org.

Instalação

A forma preferida de instalação é através do PyPi:

pip install tacto

Alternativamente, você pode clonar manualmente o repositório e instalar o pacote usando:

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

Contente

Este pacote contém vários componentes:

1. Um renderizador para simular leituras de sensores táteis baseados em visão.
2. Uma API para simular sensores táteis baseados em visão em PyBullet.
3. Modelos de malha e arquivos de configuração para os sensores DIGIT e Omnitact.

Uso

Pacotes adicionais (torch, gym, pybulletX) são necessários para executar os exemplos a seguir. Você pode instalá-los por pip install -r requirements/examples.txt .

Para obter um exemplo básico de como usar o TACTO em conjunto com o PyBullet, consulte [TBD],

Para um exemplo de como usar apenas o mecanismo de renderização, veja exemplos/demo_render.py.

Para exemplos avançados de como usar o simulador com PyBullet, consulte a pasta de exemplos.

• exemplos/demo_pybullet_digit.py: renderizando leituras RGB e profundidade com um sensor DIGIT.

• exemplos/demo_pybullet_allegro_hand.py: renderizando 4 sensores DIGIT em uma mão Allegro.

• exemplos/demo_pybullet_omnitact.py: renderizando leituras RGB e profundidade com um sensor OmniTact.

• exemplos/demo_pybullet_grasp.py: montado em pinças de mandíbulas paralelas e agarrando objetos com diferentes configurações.

• exemplos/demo_pybullet_rolling.py: rolando uma bola de gude com dois sensores DIGIT.

• exemplos/demo_pybullet_digit_shadow.py: habilita a renderização de sombra.

Renderização sem cabeça

NOTA: o renderizador requer uma tela. Para renderização sem cabeça, use o modo "EGL" com GPU e driver CUDA ou "OSMESA" com CPU. Veja PyRender para mais detalhes.

Além disso, instale a versão corrigida do PyOpenGL via,

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

Você pode então especificar qual mecanismo usar para renderização sem interface, por exemplo,

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

Sistema operacional

Recomendamos realizar experimentos no Ubuntu .

Para macOS , existe algum problema de visualização entre pybullet.GUI e pyrender, como sabemos. Informe-nos se isso puder ser resolvido e compartilharemos as informações no repositório!

Licença

Este projeto está licenciado sob licença MIT, conforme encontrado no arquivo LICENSE.

Citando

Se você usar este projeto em sua pesquisa, cite:

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}