lucidsim

LucidSim: Mempelajari Visual Parkour dari Gambar yang Dihasilkan

Situs Proyek | Kertas | ? Video

Kami menghadirkan data visual yang realistis dan beragam dari model generatif hingga simulator fisika klasik, memungkinkan robot mempelajari tugas yang sangat dinamis seperti parkour tanpa memerlukan kedalaman.

lucidsim berisi lingkungan simulasi kami yang dibangun menggunakan MuJoCo. Kami menyediakan lingkungan dan alat untuk menjalankan pipeline rendering LucidSim untuk parkour berkaki empat. Kode pelatihan belum disertakan.

Jika Anda mencari kode augmentasi generatif (diperlukan untuk menjalankan pipeline rendering penuh), silakan periksa repo weaver!

Alan Yu ^*1 , Ge Yang ^*1,2 , Ran Choi ¹ , Yajvan Ravan ¹ , John Leonard ¹ , Phillip Isola ^1
1 MIT CSAIL, ² Institut AI dan Interaksi Fundamental (IAIFI)
^* Menunjukkan kontribusi yang sama
CoRL 2024

---

Daftar isi

• Instalasi
  • Atur Lingkungan Conda
  • Instal Dependensi
  • Satu Ketergantungan Terakhir
• Penggunaan
  • Pipa LucidSim Dasar
  • Pipa Rendering Penuh (membutuhkan penenun)
• Kutipan

Instalasi

1. Atur Lingkungan Conda

Jika Anda mengikuti petunjuk pengaturan dari weaver , jangan ragu untuk menginstal di atas lingkungan tersebut.

conda create -n lucidsim python=3.10
conda activate lucidsim

2. Instal Dependensi

 # Choose the CUDA version that your GPU supports. We will use CUDA 12.1
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --extra-index-url https://download.pytorch.org/whl/cu121

# Install lucidsim with more dependencies
git clone https://github.com/lucidsim/lucidsim
cd lucidsim
pip install -e . 

3..️ Menginstal gym_dmc

Beberapa dependensi terakhir memerlukan setuptools dan wheel yang diturunkan versinya untuk dipasang. Untuk menginstal, silakan turunkan versi dan kembalikan setelahnya.

pip install setuptools==65.5.0 wheel==0.38.4 pip==23
pip install gym==0.21.0
pip install gym-dmc==0.2.9
pip install -U setuptools wheel pip

Penggunaan

Catatan: Di Linux, pastikan untuk menyetel variabel lingkungan MUJOCO_GL=egl .

LucidSim menghasilkan gambar fotorealistik dengan menggunakan model generatif untuk menambah rendering simulator, menggunakan gambar pengkondisian untuk mempertahankan kontrol atas geometri pemandangan.

Merender Gambar Pengkondisian

Kami telah menyediakan pos pemeriksaan kebijakan ahli di bawah checkpoints/expert.pt . Kebijakan ini berasal dari Parkour Ekstrim. Anda dapat menggunakan kebijakan ini untuk mengambil sampel lingkungan dan memvisualisasikan gambar pengondisian dengan:

 # env-name: one of ['parkour', 'hurdle', 'gaps', 'stairs_v1', 'stairs_v2']
python play.py --save-path [--env-name] [--num-steps] [--seed]

dimana save_path adalah tempat menyimpan video yang dihasilkan.

Pipa Rendering LucidSim Penuh

Untuk menjalankan pipeline augmentasi generatif penuh, Anda perlu menginstal paket weaver dari sini. Setelah selesai, pastikan juga variabel lingkungan masih disetel dengan benar:

COMFYUI_CONFIG_PATH=/path/to/extra_model_paths.yaml
PYTHONPATH=/path/to/ComfyUI: $PYTHONPATH

Anda kemudian dapat menjalankan alur lengkap dengan:

python play_three_mask_workflow.py --save-path --prompt-collection [--env-name] [--num-steps] [--seed]

dimana save_path dan env_name sama seperti sebelumnya. prompt_collection harus berupa jalur ke file .jsonl dengan perintah yang diformat dengan benar, seperti di folder weaver/examples .

Kami berterima kasih kepada penulis Extreme Parkour atas basis kode sumber terbuka mereka, yang kami gunakan sebagai titik awal untuk kebijakan ahli kami ( lucidsim.model ).

Kutipan

Jika Anda merasa karya kami bermanfaat, mohon pertimbangkan untuk mengutip:

 @inproceedings{yu2024learning,
  title={Learning Visual Parkour from Generated Images},
  author={Alan Yu and Ge Yang and Ran Choi and Yajvan Ravan and John Leonard and Phillip Isola},
  booktitle={8th Annual Conference on Robot Learning},
  year={2024},
}