lucidsim

LucidSim：从生成的图像中学习视觉跑酷

项目网站|纸| ？视频

我们将生成模型中的真实且多样化的视觉数据引入经典物理模拟器，使机器人能够学习跑酷等高度动态的任务，而无需深度。

lucidsim包含我们使用 MuJoCo 构建的模拟环境。我们提供用于运行四足跑酷 LucidSim 渲染管道的环境和工具。尚未包含培训代码。

如果您正在寻找生成增强代码（运行完整渲染管道所需），请查看 weaver 存储库！

于艾伦^*1 、葛阳^*1,2 、Ran Choi ¹ 、Yajvan Ravan ¹ 、John Leonard ¹ 、Phillip Isola ^1
1麻省理工学院 CSAIL、 ²人工智能与基础交互研究所 (IAIFI)
^*表示同等贡献
科尔2024

---

目录

• 安装
  • 设置Conda环境
  • 安装依赖项
  • 最后的依赖
• 用法
  • 基本 LucidSim 管道
  • 完整的渲染管线（需要weaver）
• 引文

安装

1. 设置Conda环境

如果您按照weaver的安装说明进行操作，请随意在该环境上进行安装。

conda create -n lucidsim python=3.10
conda activate lucidsim

2.安装依赖项

 # Choose the CUDA version that your GPU supports. We will use CUDA 12.1
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --extra-index-url https://download.pytorch.org/whl/cu121

# Install lucidsim with more dependencies
git clone https://github.com/lucidsim/lucidsim
cd lucidsim
pip install -e . 

3..️安装gym_dmc

最后几个依赖项需要降级的setuptools和wheel来安装。要安装，请降级并恢复后。

pip install setuptools==65.5.0 wheel==0.38.4 pip==23
pip install gym==0.21.0
pip install gym-dmc==0.2.9
pip install -U setuptools wheel pip

用法

注意：在 Linux 上，请确保设置环境变量MUJOCO_GL=egl 。

LucidSim 通过使用生成模型来增强模拟器的渲染，并使用调节图像来保持对场景几何形状的控制，从而生成逼真的图像。

渲染调节图像

我们在checkpoints/expert.pt下提供了专家策略检查点。这一政策源自极限跑酷的政策。您可以使用此策略对环境进行采样并通过以下方式可视化调节图像：

 # env-name: one of ['parkour', 'hurdle', 'gaps', 'stairs_v1', 'stairs_v2']
python play.py --save-path [--env-name] [--num-steps] [--seed]

其中save_path是保存生成视频的位置。

完整的 LucidSim 渲染管线

要运行完整的生成增强管道，您需要从此处安装weaver包。完成后，还请确保环境变量仍然设置正确：

COMFYUI_CONFIG_PATH=/path/to/extra_model_paths.yaml
PYTHONPATH=/path/to/ComfyUI: $PYTHONPATH

然后，您可以使用以下命令运行完整的管道：

python play_three_mask_workflow.py --save-path --prompt-collection [--env-name] [--num-steps] [--seed]

其中save_path和env_name与以前相同。 prompt_collection应该是具有正确格式提示的.jsonl文件的路径，如weaver/examples文件夹中所示。

我们感谢 Extreme Parkour 的作者提供的开源代码库，我们将其用作我们的专家策略 ( lucidsim.model ) 的起点。

引文

如果您发现我们的工作有用，请考虑引用：

 @inproceedings{yu2024learning,
  title={Learning Visual Parkour from Generated Images},
  author={Alan Yu and Ge Yang and Ran Choi and Yajvan Ravan and John Leonard and Phillip Isola},
  booktitle={8th Annual Conference on Robot Learning},
  year={2024},
}