lucidsim

LucidSim：從生成的圖像中學習視覺跑酷

專案網站|紙| ？影片

我們將生成模型中的真實且多樣化的視覺數據引入經典物理模擬器，使機器人能夠學習跑酷等高度動態的任務，而無需深度。

lucidsim包含我們使用 MuJoCo 建構的模擬環境。我們提供用於運行四足跑酷 LucidSim 渲染管道的環境和工具。尚未包含培訓代碼。

如果您正在尋找生成增強程式碼（運行完整渲染管道所需），請查看 weaver 儲存庫！

於艾倫^*1 、葛陽^*1,2 、Ran Choi ¹ 、Yajvan Ravan ¹ 、John Leonard ¹ 、Phillip Isola ^1
1麻省理工學院 CSAIL、 ²人工智慧與基礎互動研究所 (IAIFI)
^*表示同等貢獻
科爾2024

---

目錄

• 安裝
  • 設定Conda環境
  • 安裝依賴項
  • 最後的依賴
• 用法
  • 基本 LucidSim 管道
  • 完整的渲染管線（需要weaver）
• 引文

安裝

1. 設定Conda環境

如果您按照weaver的安裝說明進行操作，請隨意在該環境上進行安裝。

conda create -n lucidsim python=3.10
conda activate lucidsim

2.安裝依賴項

 # Choose the CUDA version that your GPU supports. We will use CUDA 12.1
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --extra-index-url https://download.pytorch.org/whl/cu121

# Install lucidsim with more dependencies
git clone https://github.com/lucidsim/lucidsim
cd lucidsim
pip install -e . 

3..️安裝gym_dmc

最後幾個依賴項需要降級的setuptools和wheel來安裝。要安裝，請降級並恢復後。

pip install setuptools==65.5.0 wheel==0.38.4 pip==23
pip install gym==0.21.0
pip install gym-dmc==0.2.9
pip install -U setuptools wheel pip

用法

注意：在 Linux 上，請確保設定環境變數MUJOCO_GL=egl 。

LucidSim 透過使用生成模型來增強模擬器的渲染，並使用調節影像來保持對場景幾何形狀的控制，從而產生逼真的影像。

渲染調節影像

我們在checkpoints/expert.pt下提供了專家策略檢查點。這項政策源自於極限跑酷的政策。您可以使用此策略對環境進行採樣並透過以下方式視覺化調節影像：

 # env-name: one of ['parkour', 'hurdle', 'gaps', 'stairs_v1', 'stairs_v2']
python play.py --save-path [--env-name] [--num-steps] [--seed]

其中save_path是保存生成影片的位置。

完整的 LucidSim 渲染管線

要運行完整的生成增強管道，您需要從此處安裝weaver包。完成後，也請確保環境變數仍然設定正確：

COMFYUI_CONFIG_PATH=/path/to/extra_model_paths.yaml
PYTHONPATH=/path/to/ComfyUI: $PYTHONPATH

然後，您可以使用以下命令運行完整的管道：

python play_three_mask_workflow.py --save-path --prompt-collection [--env-name] [--num-steps] [--seed]

其中save_path和env_name與以前相同。 prompt_collection應該是具有正確格式提示的.jsonl檔案的路徑，如weaver/examples資料夾所示。

我們感謝 Extreme Parkour 的作者提供的開源程式碼庫，我們將其用作我們的專家策略 ( lucidsim.model ) 的起點。

引文

如果您發現我們的工作有用，請考慮引用：

 @inproceedings{yu2024learning,
  title={Learning Visual Parkour from Generated Images},
  author={Alan Yu and Ge Yang and Ran Choi and Yajvan Ravan and John Leonard and Phillip Isola},
  booktitle={8th Annual Conference on Robot Learning},
  year={2024},
}