tacto

TACTO: 고해상도 비전 기반 촉각 센서를 위한 빠르고 유연한 오픈 소스 시뮬레이터

이 패키지는 DIGIT와 같은 비전 기반 촉각 센서용 시뮬레이터를 제공합니다. PyBullet과의 통합을 위한 모델과 터치 판독 렌더러를 제공합니다. 자세한 내용은 해당 논문 TACTO: 고해상도 비전 기반 촉각 센서를 위한 빠르고 유연한 오픈 소스 시뮬레이터를 참조하십시오.

참고: 시뮬레이터는 접촉의 물리적으로 정확한 역학(예: 변형, 마찰)을 제공하기 위한 것이 아니라 기존 물리 엔진에 의존합니다.

업데이트 및 토론을 보려면 www.touch-sensing.org 커뮤니티의 #TACTO 채널에 가입하세요.

설치

선호되는 설치 방법은 PyPi를 사용하는 것입니다.

pip install tacto

또는 다음을 사용하여 저장소를 수동으로 복제하고 패키지를 설치할 수 있습니다.

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

콘텐츠

이 패키지에는 여러 구성 요소가 포함되어 있습니다.

1. 비전 기반 촉각 센서의 판독값을 시뮬레이션하는 렌더러입니다.
2. PyBullet에서 비전 기반 촉각 센서를 시뮬레이션하는 API입니다.
3. DIGIT 및 Omnitact 센서용 메시 모델 및 구성 파일입니다.

용법

다음 예제를 실행하려면 추가 패키지(torch, gym, pybulletX)가 필요합니다. pip install -r requirements/examples.txt 로 설치할 수 있습니다.

PyBullet과 함께 TACTO를 사용하는 방법에 대한 기본 예는 [TBD]를 참조하세요.

렌더러 엔진만 사용하는 방법에 대한 예는 example/demo_render.py를 참조하세요.

PyBullet과 함께 시뮬레이터를 사용하는 방법에 대한 고급 예제를 보려면 예제 폴더를 살펴보세요.

• example/demo_pybullet_digit.py: DIGIT 센서를 사용하여 RGB 및 깊이 판독값을 렌더링합니다.

• example/demo_pybullet_allegro_hand.py: Allegro Hand에 4개의 DIGIT 센서를 렌더링합니다.

• example/demo_pybullet_omnitact.py: OmniTact 센서를 사용하여 RGB 및 깊이 판독값을 렌더링합니다.

• example/demo_pybullet_grasp.py: 평행 조 그리퍼에 장착되어 있으며 다양한 구성으로 물체를 잡습니다.

• example/demo_pybullet_rolling.py: 두 개의 DIGIT 센서로 구슬을 굴립니다.

• example/demo_pybullet_digit_shadow.py: 그림자 렌더링을 활성화합니다.

헤드리스 렌더링

참고: 렌더러에는 화면이 필요합니다. 헤드리스 렌더링의 경우 GPU 및 CUDA 드라이버가 있는 "EGL" 모드를 사용하거나 CPU가 있는 "OSMESA"를 사용하세요. 자세한 내용은 PyRender를 참조하세요.

또한 다음을 통해 패치된 PyOpenGL 버전을 설치하세요.

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

그런 다음 헤드리스 렌더링에 사용할 엔진을 지정할 수 있습니다. 예를 들어 다음과 같습니다.

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

운영 체제

Ubuntu 에서 실험을 수행하는 것이 좋습니다.

macOS 의 경우 우리가 알고 있듯이 pybullet.GUI와 pyrender 사이에 몇 가지 시각화 문제가 있습니다. 해결 가능한지 알려주시면 리포지토리에서 정보를 공유해드리겠습니다!

특허

이 프로젝트는 LICENSE 파일에 있는 MIT 라이선스에 따라 라이선스가 부여됩니다.

인용

연구에 이 프로젝트를 사용하는 경우 다음을 인용해 주세요.

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}