lucidsim
1.0.0
私たちは、生成モデルから古典的な物理シミュレーターまで、現実的で多様な視覚データをもたらし、ロボットがパルクールのような高度に動的なタスクを深さを必要とせずに学習できるようにします。
lucidsim MuJoCo を使用して構築されたシミュレート環境が含まれています。四足パルクール用の LucidSim レンダリング パイプラインを実行するための環境とツールを提供します。トレーニング コードはまだ含まれていません。
生成拡張コード (完全なレンダリング パイプラインの実行に必要) を探している場合は、weaver リポジトリをチェックしてください。
アラン・ユー*1 、 ゲ・ヤン*1,2 、 ラン・チョイ1 、 ヤジヴァン・ラヴァン1 、 ジョン・レナード1 、 フィリップ・イソラ1
1 MIT CSAIL、 2 AI および基本的相互作用研究所 (IAIFI)
*均等な貢献を示します
CoRL 2024
 |  |
目次
weaverのセットアップ手順に従っている場合は、その環境の上に自由にインストールしてください。
conda create -n lucidsim python=3.10
conda activate lucidsim # Choose the CUDA version that your GPU supports. We will use CUDA 12.1
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --extra-index-url https://download.pytorch.org/whl/cu121
# Install lucidsim with more dependencies
git clone https://github.com/lucidsim/lucidsim
cd lucidsim
pip install -e . 最後のいくつかの依存関係をインストールするには、ダウングレードされたsetuptoolsとwheel必要です。インストールするには、ダウングレードしてから元に戻してください。
pip install setuptools==65.5.0 wheel==0.38.4 pip==23
pip install gym==0.21.0
pip install gym-dmc==0.2.9
pip install -U setuptools wheel pip注: Linux では、必ず環境変数MUJOCO_GL=eglを設定してください。
LucidSim は、生成モデルを使用してシミュレーターのレンダリングを強化し、コンディショニング イメージを使用してシーン ジオメトリの制御を維持することにより、フォトリアリスティックなイメージを生成します。
checkpoints/expert.ptの下にエキスパート ポリシー チェックポイントを提供しました。このポリシーはエクストリーム パルクールのポリシーから派生したものです。このポリシーを使用して環境をサンプリングし、以下を使用して調整イメージを視覚化できます。
# env-name: one of ['parkour', 'hurdle', 'gaps', 'stairs_v1', 'stairs_v2']
python play.py --save-path [--env-name] [--num-steps] [--seed]ここで、 save_path結果のビデオを保存する場所です。
完全な生成拡張パイプラインを実行するには、ここからweaverパッケージをインストールする必要があります。完了したら、環境変数がまだ正しく設定されていることも確認してください。
COMFYUI_CONFIG_PATH=/path/to/extra_model_paths.yaml
PYTHONPATH=/path/to/ComfyUI: $PYTHONPATHその後、次のようにして完全なパイプラインを実行できます。
python play_three_mask_workflow.py --save-path --prompt-collection [--env-name] [--num-steps] [--seed]ここで、 save_pathとenv_nameは前と同じです。 prompt_collection weaver/examplesフォルダーのように、正しくフォーマットされたプロンプトを含む.jsonlファイルへのパスである必要があります。
エキスパート ポリシー ( lucidsim.model ) の出発点として使用したオープンソース コードベースについては、Extreme Parkour の作者に感謝します。
私たちの取り組みが役立つと思われる場合は、以下を引用することを検討してください。
@inproceedings{yu2024learning,
title={Learning Visual Parkour from Generated Images},
author={Alan Yu and Ge Yang and Ran Choi and Yajvan Ravan and John Leonard and Phillip Isola},
booktitle={8th Annual Conference on Robot Learning},
year={2024},
}
