หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

TACTO: เครื่องจำลองแบบโอเพ่นซอร์สที่รวดเร็ว ยืดหยุ่น สำหรับเซ็นเซอร์สัมผัสด้วยการมองเห็นความละเอียดสูง

DIGIT-โลโก้

แทคโต้ ซิมูเลเตอร์

แพ็คเกจนี้มีเครื่องจำลองสำหรับเซ็นเซอร์สัมผัสตามการมองเห็น เช่น DIGIT มีโมเดลสำหรับการทำงานร่วมกับ PyBullet รวมถึงตัวเรนเดอร์การอ่านค่าแบบสัมผัส สำหรับข้อมูลเพิ่มเติม โปรดดูเอกสารที่เกี่ยวข้อง TACTO: เครื่องจำลองที่รวดเร็ว ยืดหยุ่น และโอเพ่นซอร์สสำหรับเซ็นเซอร์สัมผัสด้วยการมองเห็นที่มีความละเอียดสูง

หมายเหตุ: เครื่องจำลองไม่ได้มีไว้เพื่อให้ไดนามิกที่ถูกต้องทางกายภาพของการสัมผัส (เช่น การเสียรูป การเสียดสี) แต่อาศัยกลไกทางฟิสิกส์ที่มีอยู่

สำหรับข้อมูลอัปเดตและการสนทนา โปรดเข้าร่วมช่อง #TACTO ที่ชุมชน www.touch-sensing.org

การติดตั้ง

วิธีการติดตั้งที่ต้องการคือผ่าน PyPi: 

pip install tacto

หรือคุณสามารถโคลนที่เก็บด้วยตนเองและติดตั้งแพ็คเกจโดยใช้: 

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e .

เนื้อหา

แพ็คเกจนี้ประกอบด้วยส่วนประกอบหลายอย่าง:

  1. ตัวเรนเดอร์เพื่อจำลองการอ่านจากเซ็นเซอร์สัมผัสตามการมองเห็น
  2. API เพื่อจำลองเซ็นเซอร์สัมผัสตามการมองเห็นใน PyBullet
  3. โมเดล Mesh และไฟล์การกำหนดค่าสำหรับเซ็นเซอร์ DIGIT และ Omnitact

การใช้งาน

จำเป็นต้องมีแพ็คเกจเพิ่มเติม (ไฟฉาย, ยิม, pybulletX) เพื่อรันตัวอย่างต่อไปนี้ คุณสามารถติดตั้งได้โดย pip install -r requirements/examples.txt

สำหรับตัวอย่างพื้นฐานเกี่ยวกับวิธีใช้ TACTO ร่วมกับ PyBullet ให้ดูที่ [TBD]

สำหรับตัวอย่างวิธีใช้เพียงเอ็นจิ้นการเรนเดอร์ ให้ดูที่ examples/demo_render.py

สำหรับตัวอย่างขั้นสูงของวิธีใช้โปรแกรมจำลองกับ PyBullet ให้ดูที่โฟลเดอร์ตัวอย่าง

  • examples/demo_pybullet_digit.py: เรนเดอร์การอ่าน RGB และความลึกด้วยเซ็นเซอร์ DIGIT

สาธิตหลัก

  • examples/demo_pybullet_allegro_hand.py: การเรนเดอร์เซ็นเซอร์ 4 DIGIT บน Allegro Hand

การสาธิตอัลเลโกร

  • example/demo_pybullet_omnitact.py: การเรนเดอร์การอ่าน RGB และความลึกด้วยเซ็นเซอร์ OmniTact

สาธิต OmniTact

  • examples/demo_pybullet_grasp.py: ติดตั้งบนมือจับแบบขากรรไกรคู่ขนานและวัตถุสำหรับจับที่มีการกำหนดค่าต่างกัน

เข้าใจการสาธิต

  • example/demo_pybullet_rolling.py: กลิ้งหินอ่อนด้วยเซ็นเซอร์ DIGIT สองตัว

การสาธิตการกลิ้ง

  • examples/demo_pybullet_digit_shadow.py: เปิดใช้งานการแสดงเงา

สาธิตเงา

การเรนเดอร์แบบไม่มีหัว

หมายเหตุ: ตัวเรนเดอร์จำเป็นต้องมีหน้าจอ สำหรับการเรนเดอร์แบบไม่มีหัว ให้ใช้โหมด "EGL" พร้อม GPU และไดรเวอร์ CUDA หรือ "OSMESA" พร้อม CPU ดู PyRender สำหรับรายละเอียดเพิ่มเติม

นอกจากนี้ ให้ติดตั้ง PyOpenGL เวอร์ชันแพตช์ผ่านทาง 

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

จากนั้นคุณสามารถระบุกลไกที่จะใช้สำหรับการเรนเดอร์แบบไม่มีหัวได้ เช่น 

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

ระบบปฏิบัติการ

เราแนะนำให้ทำการทดลองบน Ubuntu .

สำหรับ macOS มีปัญหาด้านการมองเห็นระหว่าง pybullet.GUI และ pyrender อย่างที่เราทราบ โปรดแจ้งให้เราทราบหากสามารถแก้ไขได้ และเราจะแบ่งปันข้อมูลที่ repo!

ใบอนุญาต

โครงการนี้ได้รับอนุญาตภายใต้ใบอนุญาต MIT ดังที่พบในไฟล์ใบอนุญาต

การอ้างอิง

หากคุณใช้โครงการนี้ในการวิจัยของคุณ โปรดอ้างอิง: 

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด