atari model zoo

雅达利动物园

该项目的目的是传播经过各种算法训练的深度强化学习代理，并使其能够轻松分析、比较和可视化。希望减少进一步研究理解强化学习代理的阻力。该项目利用了优秀的 Lucid 神经网络可视化库，并与 Dopamine 模型版本集成。

介绍这项工作的论文发表在 IJCAI 2019: An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents 上。

关于

该软件包附带一个二进制版本：(1) 通过各种深度强化学习方法在 Atari 游戏上训练的冻结模型，以及 (2) 这些代理在在线托管的训练环境中缓存的游戏体验。

安装和设置

依赖项：

• tensorflow（版本 >0.8 <2.0；我们当前不支持 TF 2.x ）
• 清晰（版本
• matplotlib 用于一些可视化
• moviepy（制作电影时可选）
• gym（安装时支持 Atari；可选用于生成新的部署）
• opencv-python（生成新的部署的可选）
• tensorflow-onnx（可选导出为 ONNX 格式）

要安装，请在安装依赖项后运行setup.py install 。

示例

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

从命令行您可以运行： python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

笔记本电脑

示例 jupyter 笔记本位于笔记本目录中，提供了如何使用此库的更多示例。

入门 Colab 笔记本使您无需下载和安装即可查看该库。

网络工具

• 此处提供了用于观看训练有素的特工视频的工具；请注意，可以链接到特定视频，例如 https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2。

• 此处提供了一种工具，用于查看训练有素的智能体及其神经激活的视频。

生成动物园模型的训练算法的源代码

我们自己训练了四种算法：

• A2C - 我们使用 OpenAI 的基线包
• GA - 我们使用了 Uber 发布的快速 GPU 实现版本
• ES - 我们使用Uber发布的快速GPU版本
• Ape-X - 我们使用 Uber 发布的复制品
• IMPALA - 我们使用 DeepMind 发布的代码

我们从 Dopamine 模型版本中的两种算法（DQN 和 Rainbow）中获取了经过训练的最终模型：

• DQN - 此处实施
• Rainbow - 在这里实施

引文

要在出版物中引用这项工作，请使用以下 BibTex 条目：

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}

联系信息

如有疑问、意见和建议，请发送电子邮件至 [email protected]。