tacto

TACTO: محاكي سريع ومرن ومفتوح المصدر لأجهزة الاستشعار اللمسية عالية الدقة المستندة إلى الرؤية

توفر هذه الحزمة جهاز محاكاة لأجهزة استشعار اللمس القائمة على الرؤية، مثل DIGIT. فهو يوفر نماذج للتكامل مع PyBullet، بالإضافة إلى عارض لقراءات اللمس. لمزيد من المعلومات، راجع الورقة المقابلة TACTO: محاكي سريع ومرن ومفتوح المصدر لأجهزة الاستشعار اللمسية عالية الدقة المستندة إلى الرؤية.

ملاحظة: ليس المقصود من جهاز المحاكاة توفير ديناميكيات دقيقة ماديًا لجهات الاتصال (على سبيل المثال، التشوه، والاحتكاك)، ولكنه يعتمد بدلاً من ذلك على محركات الفيزياء الموجودة.

للحصول على التحديثات والمناقشات، يرجى الانضمام إلى قناة #TACTO على مجتمع www.touch-sensing.org.

تثبيت

الطريقة المفضلة للتثبيت هي من خلال PyPi:

pip install tacto

وبدلاً من ذلك، يمكنك استنساخ المستودع يدويًا وتثبيت الحزمة باستخدام:

git clone https://github.com/facebookresearch/tacto.git
cd tacto
pip install -e . 

محتوى

تحتوي هذه الحزمة على عدة مكونات:

1. عارض لمحاكاة القراءات من أجهزة الاستشعار اللمسية القائمة على الرؤية.
2. واجهة برمجة التطبيقات (API) لمحاكاة أجهزة الاستشعار اللمسية القائمة على الرؤية في PyBullet.
3. نماذج الشبكات وملفات التكوين لأجهزة استشعار DIGIT وOmnitact.

الاستخدام

هناك حاجة إلى حزم إضافية (torch، Gym، pybulletX) لتشغيل الأمثلة التالية. يمكنك تثبيتها عن طريق pip install -r requirements/examples.txt .

للحصول على مثال أساسي حول كيفية استخدام TACTO مع PyBullet، قم بزيارة [TBD]،

للحصول على مثال لكيفية استخدام محرك العارض فقط، انظر الأمثلة/demo_render.py.

للحصول على أمثلة متقدمة حول كيفية استخدام المحاكي مع PyBullet، انظر إلى مجلد الأمثلة.

• أمثلة/demo_pybullet_digit.py: عرض قراءات RGB والعمق باستخدام مستشعر DIGIT.

• أمثلة/demo_pybullet_allegro_hand.py: عرض 4 أجهزة استشعار DIGIT على يد Allegro.

• أمثلة/demo_pybullet_omnitact.py: عرض قراءات RGB والعمق باستخدام مستشعر OmniTact.

• الأمثلة/demo_pybullet_grasp.py: مثبتة على قابضات ذات فك متوازي وأشياء إمساك بتكوينات مختلفة.

• أمثلة/demo_pybullet_rolling.py: دحرجة قطعة رخام باستخدام مستشعري DIGIT.

• أمثلة/demo_pybullet_digit_shadow.py: تمكين عرض الظل.

تقديم بلا رأس

ملاحظة: العارض يتطلب شاشة. للعرض بدون رأس، استخدم وضع "EGL" مع برنامج تشغيل GPU وCUDA أو "OSMESA" مع وحدة المعالجة المركزية. راجع PyRender لمزيد من التفاصيل.

بالإضافة إلى ذلك، قم بتثبيت الإصدار المصحح من PyOpenGL عبر،

 pip install git+https://github.com/mmatl/pyopengl.git@76d1261adee2d3fd99b418e75b0416bb7d2865e6

يمكنك بعد ذلك تحديد المحرك الذي سيتم استخدامه للعرض بدون رأس، على سبيل المثال،

 import os
os.environ["PYOPENGL_PLATFORM"] = "osmesa" # osmesa cpu rendering

نظام التشغيل

نوصي بإجراء تجارب على Ubuntu .

بالنسبة لنظام التشغيل macOS ، توجد بعض المشكلات في التصور بين pybullet.GUI وpyrender كما نعلم. يرجى إعلامنا إذا كان من الممكن حل المشكلة، وسنشارك المعلومات في الريبو!

رخصة

هذا المشروع مرخص بموجب ترخيص MIT، كما هو موجود في ملف الترخيص.

نقلا عن

إذا كنت تستخدم هذا المشروع في بحثك، يرجى ذكر:

 @Article { Wang2022TACTO ,
  author   = { Wang, Shaoxiong and Lambeta, Mike and Chou, Po-Wei and Calandra, Roberto } ,
  title    = { {TACTO}: A Fast, Flexible, and Open-source Simulator for High-resolution Vision-based Tactile Sensors } ,
  journal  = { IEEE Robotics and Automation Letters (RA-L) } ,
  year     = { 2022 } ,
  volume   = { 7 } ,
  number   = { 2 } ,
  pages    = { 3930--3937 } ,
  issn     = { 2377-3766 } ,
  doi      = { 10.1109/LRA.2022.3146945 } ,
  url      = { https://arxiv.org/abs/2012.08456 } ,
}