adeptRL

adept 是一个强化学习框架，旨在通过抽象出与深度强化学习相关的工程挑战来加速研究。熟练者提供：

• 多GPU训练
• 用于使用自定义网络、代理和环境的模块化界面
• PyTorch 的基线强化学习模型和算法
• 内置张量板日志记录、模型保存、重新加载、评估和渲染
• 经过验证的超参数默认值

此代码是抢先体验版，预计会有一些粗糙的地方。接口可能会发生变化。我们很乐意接受反馈和贡献。

阅读更多

• 安装
• 快速入门
• 特征
• 表现

文档

• 架构概述
• 模块化网络概述
• 恢复训练
• 评估模型
• 渲染环境

示例

• 自定义网络（存根 | 示例）
• 自定义子模块（存根 | 示例）
• 自定义代理（存根 | 示例）
• 自定义环境（存根 | 示例）

安装

git clone https://github.com/heronsystems/adeptRL
cd adeptRL
pip install -e .[all]

来自码头工人：

• 码头工人指令

快速入门

训练代理日志默认位于/tmp/adept_logs/ 。日志目录包含tensorboard文件、保存的模型和其他元数据。

 # Local Mode (A2C)
# We recommend 4GB+ GPU memory, 8GB+ RAM, 4+ Cores
python -m adept.app local --env BeamRiderNoFrameskip-v4

# Distributed Mode (A2C, requires NCCL)
# We recommend 2+ GPUs, 8GB+ GPU memory, 32GB+ RAM, 4+ Cores
python -m adept.app distrib --env BeamRiderNoFrameskip-v4

# IMPALA (requires ray, resource intensive)
# We recommend 2+ GPUs, 8GB+ GPU memory, 32GB+ RAM, 4+ Cores
python -m adept.app actorlearner --env BeamRiderNoFrameskip-v4

# To see a full list of options:
python -m adept.app -h
python -m adept.app help < command >

使用您自己的代理、环境、网络或子模块

 """
my_script.py

Train an agent on a single GPU.
"""
from adept . scripts . local import parse_args , main
from adept . network import NetworkModule , SubModule1D
from adept . agent import AgentModule
from adept . env import EnvModule


class MyAgent ( AgentModule ):
    pass  # Implement


class MyEnv ( EnvModule ):
    pass  # Implement


class MyNet ( NetworkModule ):
    pass  # Implement


class MySubModule1D ( SubModule1D ):
    pass  # Implement


if __name__ == '__main__' :
    import adept
    adept . register_agent ( MyAgent )
    adept . register_env ( MyEnv )
    adept . register_network ( MyNet )
    adept . register_submodule ( MySubModule1D )
    main ( parse_args ())

• 像这样调用您的脚本： python my_script.py --agent MyAgent --env env-id-1 --custom-network MyNet
• 您可以在此处查看所有参数或如何在上面的示例部分中实现存根。

特征

脚本

本地（单节点、单GPU）

• 如果您想理解代码，这是最好的起点。

分布式（多节点、多GPU）

• 使用 NCCL 后端跨 GPU 进行全归约梯度，无需参数服务器或主机进程。
• 支持NVLINK和InfiniBand以减少通信开销
• InfiniBand 未经测试，因为我们没有可测试的设置。

重要性加权参与者学习器架构，IMPALA（单节点，多 GPU）

• 我们的实现使用 GPU 工作线程而不是 CPU 工作线程进行前向传递。
• 在 Atari 上，我们使用两个 GPU 和一个 8 核 CPU 实现了 ~4k SPS = ~16k FPS。
• “请注意，浅层 IMPALA 实验在不到一小时的时间内完成了超过 2 亿帧的训练。”
• IMPALA官方实验使用48核。
• 我们的：2000 帧/（第二 * # CPU 核心） DeepMind：1157 帧/（第二 * # CPU 核心）
• 尚不支持多节点或直接 GPU 内存传输。

代理商

• 优势演员评论家，A2C（论文 | 代码）
• 演员评论家 Vtrace，IMPALA（论文 | 代码）

网络

• 模块化网络接口：通过子模块 API 支持高达 4D 的任意输入和输出形状。
• 有状态网络（即 LSTM）
• 批量归一化（论文）

环境

• OpenAI 健身房 Atari

表现

• ~ 3,000 步/秒 = 12,000 FPS (雅达利)
  • 本地模式
  • 64 个环境
  • GeForce 2080 钛
  • 锐龙 2700x 8 核
• 用于赢得 Doom 竞赛（Ben Bell / Marv2in）
• 经过 50M 步/200M 帧训练
• 每集开始时最多 30 个无操作
• 对不同种子的评估与训练的种子不同
• 架构：四个 Conv (F=32)，后跟一个 LSTM (F=512)
• 使用python -m adept.app local --logdir ~/local64_benchmark --eval -y --nb-step 50e6 --env <env-id>重现

致谢

我们借用了 OpenAI 的健身房和基线代码片段。我们指出这是在哪里完成的。