adeptRL

adept 是一個強化學習框架，旨在透過抽像出與深度強化學習相關的工程挑戰來加速研究。熟練者提供：

• 多GPU訓練
• 用於使用自訂網路、代理程式和環境的模組化介面
• PyTorch 的基線強化學習模型與演算法
• 內建張量板日誌記錄、模型保存、重新載入、評估和渲染
• 經過驗證的超參數預設值

此代碼是搶先體驗版，預計會有一些粗糙的地方。介面可能會發生變化。我們很樂意接受回饋和貢獻。

閱讀更多

• 安裝
• 快速入門
• 特徵
• 表現

文件

• 架構概述
• 模組化網路概述
• 恢復訓練
• 評估模型
• 渲染環境

範例

• 自訂網路（存根 | 範例）
• 自訂子模組（存根 | 範例）
• 自訂代理程式（存根 | 範例）
• 自訂環境（存根 | 範例）

安裝

git clone https://github.com/heronsystems/adeptRL
cd adeptRL
pip install -e .[all]

來自碼頭工人：

• 碼頭工人指令

快速入門

訓練代理日誌預設位於/tmp/adept_logs/ 。日誌目錄包含tensorboard檔案、已儲存的模型和其他元資料。

 # Local Mode (A2C)
# We recommend 4GB+ GPU memory, 8GB+ RAM, 4+ Cores
python -m adept.app local --env BeamRiderNoFrameskip-v4

# Distributed Mode (A2C, requires NCCL)
# We recommend 2+ GPUs, 8GB+ GPU memory, 32GB+ RAM, 4+ Cores
python -m adept.app distrib --env BeamRiderNoFrameskip-v4

# IMPALA (requires ray, resource intensive)
# We recommend 2+ GPUs, 8GB+ GPU memory, 32GB+ RAM, 4+ Cores
python -m adept.app actorlearner --env BeamRiderNoFrameskip-v4

# To see a full list of options:
python -m adept.app -h
python -m adept.app help < command >

使用您自己的代理程式、環境、網路或子模組

 """
my_script.py

Train an agent on a single GPU.
"""
from adept . scripts . local import parse_args , main
from adept . network import NetworkModule , SubModule1D
from adept . agent import AgentModule
from adept . env import EnvModule


class MyAgent ( AgentModule ):
    pass  # Implement


class MyEnv ( EnvModule ):
    pass  # Implement


class MyNet ( NetworkModule ):
    pass  # Implement


class MySubModule1D ( SubModule1D ):
    pass  # Implement


if __name__ == '__main__' :
    import adept
    adept . register_agent ( MyAgent )
    adept . register_env ( MyEnv )
    adept . register_network ( MyNet )
    adept . register_submodule ( MySubModule1D )
    main ( parse_args ())

• 像這樣呼叫您的腳本： python my_script.py --agent MyAgent --env env-id-1 --custom-network MyNet
• 您可以在此處查看所有參數或如何在上面的範例部分中實現存根。

特徵

腳本

本地（單節點、單GPU）

• 如果您想理解程式碼，這是最好的起點。

分佈式（多節點、多GPU）

• 使用 NCCL 後端跨 GPU 進行全歸約梯度，無需參數伺服器或主機程序。
• 支援NVLINK和InfiniBand以減少通訊開銷
• InfiniBand 未經測試，因為我們沒有可測試的設定。

重要性加權參與者學習器架構，IMPALA（單節點，多 GPU）

• 我們的實作使用 GPU 工作執行緒而不是 CPU 工作執行緒進行前向傳遞。
• 在 Atari 上，我們使用兩個 GPU 和一個 8 核心 CPU 實作了 ~4k SPS = ~16k FPS。
• “請注意，淺層 IMPALA 實驗在不到一小時的時間內完成了超過 2 億幀的訓練。”
• IMPALA官方實驗使用48核。
• 我們的：2000 幀/（第二 * # CPU 核心） DeepMind：1157 幀/（第二 * # CPU 核心）
• 尚不支援多節點或直接 GPU 記憶體傳輸。

代理商

• 優勢演員評論家，A2C（論文 | 代碼）
• 演員評論家 Vtrace，IMPALA（論文 | 代碼）

網路

• 模組化網路介面：透過子模組 API 支援高達 4D 的任意輸入和輸出形狀。
• 有狀態網路（即 LSTM）
• 批量歸一化（論文）

環境

• OpenAI 健身房 Atari

表現

• ~ 3,000 步/秒 = 12,000 FPS (雅達利)
  • 本地模式
  • 64 環境
  • GeForce 2080 鈦
  • 銳龍 2700x 8 核
• 用於贏得 Doom 競賽（Ben Bell / Marv2in）
• 經過 50M 步/200M 幀訓練
• 每集開始時最多 30 個無操作
• 對不同種子的評估與訓練的種子不同
• 架構：四個 Conv (F=32)，後面跟著一個 LSTM (F=512)
• 使用python -m adept.app local --logdir ~/local64_benchmark --eval -y --nb-step 50e6 --env <env-id>重現

致謝

我們借用了 OpenAI 的健身房和基線程式碼片段。我們指出這是在哪裡完成的。