Cal QLダウンロード - Cal QLソースコードのダウンロード

Cal QL

その他のソースコード

ダウンロード

カリフォルニアQL

これは、論文「Cal-QL: Jax および Flax での効率的なオンライン微調整のための調整されたオフライン RL 事前トレーニング」の実装です。

論文リンク: https://arxiv.org/abs/2303.05479
プロジェクトページ: https://nakamotoo.github.io/projects/Cal-QL/
ビデオ: https://youtu.be/r9CCdLeMJTg

このコードベースは JaxCQL リポジトリに基づいて構築されています。

このリポジトリが研究に役立つと思われる場合は、以下を引用してください。

 @article{nakamoto2023calql,
  author       = {Mitsuhiko Nakamoto and Yuexiang Zhai and Anikait Singh and Max Sobol Mark and Yi Ma and Chelsea Finn and Aviral Kumar and Sergey Levine},
  title        = {Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning},
  conference   = {arXiv Pre-print},
  year         = {2023},
  url          = {https://arxiv.org/abs/2303.05479},
}

インストール

MuJoCo をインストールする

MuJoCo キーと MuJoCo 2.1 バイナリをダウンロードする
ダウンロードしたmujoco210とmjkey.txt ~/.mujoco/mujoco210と~/.mujoco/mjkey.txtに解凍します。

次の環境変数を~/.bashrcに追加します。

 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HOME/.mujoco/mujoco210/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia

付属の Ananconda 環境をインストールして使用する

 $ conda create -c nvidia -n Cal-QL python=3.8 cuda-nvcc=11.3
$ conda activate Cal-QL
$ pip install -r requirements.txt

W&B API キーを設定する

このコードベースは、重みとバイアスを使用してログを視覚化します。これを有効にするには、まず次の方法で W&B API キーを設定する必要があります。

JaxCQLフォルダーの下に、次の情報を入力してwandb_config.pyという名前のファイルを作成します。

 def get_wandb_config():
    return dict (
        WANDB_API_KEY = 'your api key',
        WANDB_EMAIL = 'your email',
        WANDB_USERNAME = 'user'
    )

JaxCQL/wandb_config_example.py をコピーし、名前をwandb_config.pyに変更して情報を入力するだけです。

実験を実行する

アントメイズ

次のコマンドを使用して実験を実行できます。

 $ bash scripts/run_antmaze.sh

詳細については scripts/run_antmaze.sh を確認してください。使用可能なすべてのコマンドオプションは、conservative_sac_main.py およびconservative_sac.py で確認できます。

アドロイトバイナリ

ここからオフラインデータセットをダウンロードし、ファイルを/demonstrations/offpolicy_hand_data/*.npyに解凍します。
このフォークからmj_envsもインストールする必要があります

 $ git clone --recursive https://github.com/nakamotoo/mj_envs.git
$ cd mj_envs  
$ git submodule update --remote
$ pip install -e .

これで、次のコマンドを使用して実験を実行できるようになります。

 $ bash scripts/run_adroit.sh

詳細については scripts/run_adroit.sh を確認してください。

その他の環境

現時点では、このリポジトリには AntMaze と Adroit のみが実装されています。 FrankaKitchen は近々追加される予定ですが、お急ぎの場合や他のタスク (論文の視覚操作領域など) を試してみたい場合は、nakamoto[at]berkeley[dot]edu までご連絡ください。

サンプルの実行とログ

他の読者が私たちの結果を簡単に再現できるようにするために、AntMaze ドメインと Adroit ドメインで Cal-QL と CQL のスイープを実施し、対応する W&B ログを公開して公開しました。ログはここで見つけることができます: https://wandb.ai/michiko/Cal-QL--Examples?workspace=user-michiko

envでファイリングすることで、視覚化する環境を選択できます。 Cal-QL の実行は、 enable-calql=Trueで示され、CQL の実行は、 enable-calql=Falseで示されます。各環境は 4 つのシードにわたって実行されています。