atari model zoo

雅達利動物園

該計畫的目的是傳播經過各種演算法訓練的深度強化學習代理，並使其能夠輕鬆分析、比較和視覺化。希望減少進一步研究理解強化學習代理的阻力。該專案利用了優秀的 Lucid 神經網路視覺化程式庫，並與 Dopamine 模型版本整合。

介紹這項工作的論文發表在 IJCAI 2019: An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents 上。

關於

軟體包附帶一個二進位版本：(1) 透過各種深度強化學習方法在 Atari 遊戲上訓練的凍結模型，以及 (2) 這些代理程式在線上託管的訓練環境中緩存的遊戲體驗。

安裝和設定

依賴項：

• tensorflow（版本 >0.8 <2.0；我們目前不支援 TF 2.x ）
• 清晰（版本
• matplotlib 用於一些可視化
• moviepy（製作電影時可選）
• gym（安裝時支援 Atari；可選用於產生新的部署）
• opencv-python（產生新的部署的可選）
• tensorflow-onnx（可選匯出為 ONNX 格式）

若要安裝，請在安裝依賴項後執行setup.py install 。

範例

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

從命令列您可以執行： python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

筆記型電腦

範例 jupyter 筆記本位於筆記本目錄中，提供如何使用此程式庫的更多範例。

入門 Colab 筆記本使您無需下載和安裝即可查看該庫。

網路工具

• 此處提供了用於觀看訓練有素的特工影片的工具；請注意，可以連結到特定視頻，例如 https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2。

• 這裡提供了一種工具，用於查看訓練有素的智能體及其神經激活的視頻。

產生動物園模型的訓練演算法的原始碼

我們自己訓練了四種演算法：

• A2C - 我們使用 OpenAI 的基線包
• GA - 我們使用了 Uber 發布的快速 GPU 實作版本
• ES - 我們使用Uber發布的快速GPU版本
• Ape-X - 我們使用 Uber 發布的複製品
• IMPALA - 我們使用 DeepMind 發布的程式碼

我們從 Dopamine 模型版本中的兩種演算法（DQN 和 Rainbow）中獲得了經過訓練的最終模型：

• DQN - 此處實施
• Rainbow - 在這裡實施

引文

要在出版物中引用這項工作，請使用以下 BibTex 條目：

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}

聯絡資訊

如有疑問、意見和建議，請發送電子郵件至 [email protected]。