lucidsim

LucidSim: การเรียนรู้ Visual Parkour จากรูปภาพที่สร้างขึ้น

เว็บไซต์โครงการ | กระดาษ | - วีดีโอ

เรานำข้อมูลภาพที่สมจริงและหลากหลายตั้งแต่แบบจำลองกำเนิดไปจนถึงเครื่องจำลองฟิสิกส์คลาสสิก ช่วยให้หุ่นยนต์สามารถเรียนรู้งานที่มีไดนามิกสูง เช่น parkour โดยไม่ต้องใช้ความลึก

lucidsim มีสภาพแวดล้อมจำลองของเราที่สร้างขึ้นโดยใช้ MuJoCo เราจัดเตรียมสภาพแวดล้อมและเครื่องมือสำหรับการรันไปป์ไลน์การเรนเดอร์ LucidSim สำหรับ parkour ที่สี่เท่า ยังไม่รวมรหัสการฝึกอบรม

หากคุณกำลังมองหาโค้ด generative augmentation (จำเป็นสำหรับการรันไปป์ไลน์การเรนเดอร์แบบเต็ม) โปรดตรวจสอบ repo ของ weaver!

อลัน หยู ^*1 , เก ยาง ^*1,2 , ราน ชอย ¹ , ยาจวาน ราวาน ¹ , จอห์น ลีโอนาร์ด ¹ , ฟิลลิป อิโซลา ^1
1 MIT CSAIL, ² สถาบัน AI และการโต้ตอบขั้นพื้นฐาน (IAIFI)
^* แสดงถึงการมีส่วนร่วมที่เท่าเทียมกัน
โคอาร์แอล 2024

---

สารบัญ

• การติดตั้ง
  • ตั้งค่าสภาพแวดล้อม Conda
  • ติดตั้งการพึ่งพา
  • การพึ่งพาครั้งสุดท้าย
• การใช้งาน
  • ไปป์ไลน์ LucidSim ขั้นพื้นฐาน
  • ไปป์ไลน์การเรนเดอร์แบบเต็ม (ต้องใช้ตัวประกอบ)
• การอ้างอิง

การติดตั้ง

1. ตั้งค่าสภาพแวดล้อม Conda

หากคุณทำตามคำแนะนำในการตั้งค่าจาก weaver อย่าลังเลที่จะติดตั้งนอกเหนือจากสภาพแวดล้อมนั้น

conda create -n lucidsim python=3.10
conda activate lucidsim

2. ติดตั้งการพึ่งพา

 # Choose the CUDA version that your GPU supports. We will use CUDA 12.1
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --extra-index-url https://download.pytorch.org/whl/cu121

# Install lucidsim with more dependencies
git clone https://github.com/lucidsim/lucidsim
cd lucidsim
pip install -e . 

3..️ กำลังติดตั้ง gym_dmc

การขึ้นต่อกันสองสามครั้งล่าสุดจำเป็นต้องมี setuptools และ wheel ที่ดาวน์เกรดเพื่อติดตั้ง หากต้องการติดตั้ง โปรดดาวน์เกรดและเปลี่ยนกลับในภายหลัง

pip install setuptools==65.5.0 wheel==0.38.4 pip==23
pip install gym==0.21.0
pip install gym-dmc==0.2.9
pip install -U setuptools wheel pip

การใช้งาน

หมายเหตุ: บน Linux ตรวจสอบให้แน่ใจว่าได้ตั้งค่าตัวแปรสภาพแวดล้อม MUJOCO_GL=egl

LucidSim สร้างภาพที่เหมือนจริงโดยใช้แบบจำลองกำเนิดเพื่อเพิ่มการเรนเดอร์ของเครื่องจำลอง โดยใช้ภาพปรับสภาพเพื่อรักษาการควบคุมเรขาคณิตของฉาก

การแสดงผลการปรับสภาพภาพ

เราได้จัดให้มีจุดตรวจสอบนโยบายผู้เชี่ยวชาญภายใต้ checkpoints/expert.pt นโยบายนี้ได้มาจากนโยบายของ Extreme Parkour คุณสามารถใช้นโยบายนี้เพื่อสุ่มตัวอย่างสภาพแวดล้อมและแสดงภาพการปรับสภาพด้วย:

 # env-name: one of ['parkour', 'hurdle', 'gaps', 'stairs_v1', 'stairs_v2']
python play.py --save-path [--env-name] [--num-steps] [--seed]

โดยที่ save_path คือตำแหน่งที่จะบันทึกวิดีโอที่ได้

ไปป์ไลน์การเรนเดอร์ LucidSim เต็มรูปแบบ

หากต้องการรันไปป์ไลน์ Generative Augmentation เต็มรูปแบบ คุณจะต้องติดตั้งแพ็คเกจ weaver จากที่นี่ เมื่อเสร็จแล้ว โปรดตรวจสอบให้แน่ใจว่าตัวแปรสภาพแวดล้อมยังคงตั้งค่าไว้อย่างถูกต้อง:

COMFYUI_CONFIG_PATH=/path/to/extra_model_paths.yaml
PYTHONPATH=/path/to/ComfyUI: $PYTHONPATH

จากนั้นคุณสามารถรันไปป์ไลน์แบบเต็มด้วย:

python play_three_mask_workflow.py --save-path --prompt-collection [--env-name] [--num-steps] [--seed]

โดยที่ save_path และ env_name เหมือนเดิม prompt_collection ควรเป็นพาธไปยังไฟล์ .jsonl ที่มีพรอมต์ที่มีรูปแบบที่ถูกต้อง เช่นเดียวกับในโฟลเดอร์ weaver/examples

เราขอขอบคุณผู้เขียน Extreme Parkour สำหรับโค้ดเบสโอเพ่นซอร์ส ซึ่งเราใช้เป็นจุดเริ่มต้นสำหรับนโยบายผู้เชี่ยวชาญของเรา ( lucidsim.model )

การอ้างอิง

หากคุณพบว่างานของเรามีประโยชน์ โปรดพิจารณาอ้างถึง:

 @inproceedings{yu2024learning,
  title={Learning Visual Parkour from Generated Images},
  author={Alan Yu and Ge Yang and Ran Choi and Yajvan Ravan and John Leonard and Phillip Isola},
  booktitle={8th Annual Conference on Robot Learning},
  year={2024},
}