tacto

TACTO: Simulator Cepat, Fleksibel, dan Sumber Terbuka untuk Sensor Taktil Berbasis Penglihatan Resolusi Tinggi

Paket ini menyediakan simulator untuk sensor taktil berbasis penglihatan, seperti DIGIT. Ini menyediakan model untuk integrasi dengan PyBullet, serta penyaji pembacaan sentuhan. Untuk informasi lebih lanjut, lihat makalah terkait TACTO: Simulator Cepat, Fleksibel, dan Sumber Terbuka untuk Sensor Taktil Berbasis Penglihatan Resolusi Tinggi.

CATATAN: simulator tidak dimaksudkan untuk memberikan dinamika kontak yang akurat secara fisik (misalnya deformasi, gesekan), melainkan mengandalkan mesin fisika yang ada.

Untuk pembaruan dan diskusi, silakan bergabung dengan saluran #TACTO di komunitas www.touch-sensing.org.

Instalasi

Cara instalasi yang disukai adalah melalui PyPi:

pip install tacto

Alternatifnya, Anda dapat mengkloning repositori secara manual dan menginstal paket menggunakan:

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

Isi

Paket ini berisi beberapa komponen:

1. Penyaji untuk mensimulasikan pembacaan dari sensor sentuhan berbasis penglihatan.
2. API untuk mensimulasikan sensor sentuhan berbasis penglihatan di PyBullet.
3. Model mesh dan file konfigurasi untuk sensor DIGIT dan Omnitact.

Penggunaan

Paket tambahan (obor, gym, pybulletX) diperlukan untuk menjalankan contoh berikut. Anda dapat menginstalnya dengan pip install -r requirements/examples.txt .

Untuk contoh dasar tentang cara menggunakan TACTO bersama dengan PyBullet, lihat [TBD],

Untuk contoh cara menggunakan mesin penyaji saja, lihat contoh/demo_render.py.

Untuk contoh lanjutan tentang cara menggunakan simulator dengan PyBullet, lihat folder contoh.

• contoh/demo_pybullet_digit.py: merender pembacaan RGB dan Kedalaman dengan sensor DIGIT.

• contoh/demo_pybullet_allegro_hand.py: merender 4 sensor DIGIT pada Tangan Allegro.

• contoh/demo_pybullet_omnitact.py: merender pembacaan RGB dan Kedalaman dengan sensor OmniTact.

• example/demo_pybullet_grasp.py: dipasang pada gripper rahang paralel dan menggenggam objek dengan konfigurasi berbeda.

• contoh/demo_pybullet_rolling.py: menggelindingkan kelereng dengan dua sensor DIGIT.

• contoh/demo_pybullet_digit_shadow.py: aktifkan rendering bayangan.

Rendering Tanpa Kepala

CATATAN: penyaji memerlukan layar. Untuk rendering headless, gunakan mode "EGL" dengan GPU dan driver CUDA atau "OSMESA" dengan CPU. Lihat PyRender untuk detail selengkapnya.

Selain itu, instal versi PyOpenGL yang dipatch melalui,

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

Anda kemudian dapat menentukan mesin mana yang akan digunakan untuk rendering tanpa kepala, misalnya,

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

Sistem Operasi

Kami merekomendasikan untuk melakukan percobaan pada Ubuntu .

Untuk macOS , ada beberapa masalah visualisasi antara pybullet.GUI dan pyrender seperti yang kita ketahui. Harap beri tahu kami jika masalah ini dapat diselesaikan, dan kami akan membagikan informasinya di repo!

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT, seperti yang ditemukan dalam file LISENSI.

Mengutip

Jika Anda menggunakan proyek ini dalam penelitian Anda, harap kutip:

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}