Cal QL下载 - Cal QL源代码下载

Cal QL

其他源码

下载

钙-QL

这是我们的论文 Cal-QL：Calibated Offline RL Pre-Training for Efficient Online Fine-Tuning in Jax and Flax 的实现。

论文链接：https://arxiv.org/abs/2303.05479
项目页面：https://nakamotoo.github.io/projects/Cal-QL/
视频：https://youtu.be/r9CCdLeMJTg

该代码库基于 JaxCQL 存储库构建。

如果您发现此存储库对您的研究有用，请引用：

 @article{nakamoto2023calql,
  author       = {Mitsuhiko Nakamoto and Yuexiang Zhai and Anikait Singh and Max Sobol Mark and Yi Ma and Chelsea Finn and Aviral Kumar and Sergey Levine},
  title        = {Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning},
  conference   = {arXiv Pre-print},
  year         = {2023},
  url          = {https://arxiv.org/abs/2303.05479},
}

安装

安装MuJoCo

下载 MuJoCo 密钥和 MuJoCo 2.1 二进制文件
将下载的mujoco210和mjkey.txt解压到~/.mujoco/mujoco210和~/.mujoco/mjkey.txt

将以下环境变量添加到~/.bashrc中

 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HOME/.mujoco/mujoco210/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia

安装并使用附带的 Ananconda 环境

 $ conda create -c nvidia -n Cal-QL python=3.8 cuda-nvcc=11.3
$ conda activate Cal-QL
$ pip install -r requirements.txt

设置 W&B API 密钥

该代码库使用权重和偏差来可视化日志。要启用此功能，您首先需要通过以下方式设置 W&B API 密钥：

在JaxCQL文件夹下创建一个名为wandb_config.py的文件，填写以下信息

 def get_wandb_config():
    return dict (
        WANDB_API_KEY = 'your api key',
        WANDB_EMAIL = 'your email',
        WANDB_USERNAME = 'user'
    )

您只需复制 JaxCQL/wandb_config_example.py，将其重命名为wandb_config.py并填写信息即可。

进行实验

蚂蚁迷宫

您可以使用以下命令运行实验：

 $ bash scripts/run_antmaze.sh

请检查 script/run_antmaze.sh 了解详细信息。所有可用的命令选项都可以在conservative_sac_main.py和conservative_sac.py中看到。

熟练的二进制

从此处下载离线数据集并将文件解压缩到/demonstrations/offpolicy_hand_data/*.npy
我们还应该从这个分支安装mj_envs

 $ git clone --recursive https://github.com/nakamotoo/mj_envs.git
$ cd mj_envs  
$ git submodule update --remote
$ pip install -e .

现在您可以使用以下命令运行实验：

 $ bash scripts/run_adroit.sh

请检查 script/run_adroit.sh 了解详细信息。

其他环境

目前，该存储库仅实现了 AntMaze 和 Adroit。 FrankaKitchen 计划很快添加，但如果您赶时间或想尝试其他任务（例如论文中的视觉操纵领域），请与我联系 nakamoto[at]berkeley[dot]edu。

示例运行和日志

为了让其他读者能够轻松复制我们的结果，我们对 AntMaze 和 Adroit 域中的 Cal-QL 和 CQL 进行了扫描，并公开了相应的 W&B 日志。日志可以在这里找到：https://wandb.ai/mitsuhiko/Cal-QL--Examples?workspace=user-mitsuhiko

您可以通过对env进行归档来选择要可视化的环境。 Cal-QL 运行由enable-calql=True指示，CQL 运行由enable-calql=False指示。每个 env 都运行过 4 个种子。