atari model zooダウンロード - atari model zooソースコードのダウンロード

atari model zoo

AI ソースコード

1.0.0

ダウンロード

アタリ動物園

このプロジェクトの目的は、さまざまなアルゴリズムによって訓練された深層強化学習エージェントを普及し、それらの分析、比較、視覚化を容易にできるようにすることです。期待は、強化学習エージェントを理解するためのさらなる研究のための摩擦を減らすことです。このプロジェクトは、優れた Lucid ニューラルネットワーク視覚化ライブラリを利用し、Dopmine モデルリリースと統合します。

この研究を紹介する論文は、IJCAI 2019: An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents で公開されました。

について

このソフトウェアパッケージには、(1) さまざまな深層強化学習手法によって Atari ゲーム上でトレーニングされたフリーズモデル、(2) オンラインでホストされているトレーニング環境でのエージェントのキャッシュされたゲームプレイエクスペリエンスのバイナリリリースが付属しています。

インストールとセットアップ

依存関係:

tensorflow (バージョン >0.8 <2.0。現在 TF 2.x はサポートされていません)
明晰（バージョン）
一部のビジュアライゼーション用の matplotlib
moviepy (ムービー作成用のオプション)
ジム (Atari のサポートとともにインストールされます。新しいロールアウトを生成する場合はオプション)
opencv-python (新しいロールアウトを生成するためのオプション)
tensorflow-onnx (ONNX 形式にエクスポートするためのオプション)

インストールするには、依存関係をインストールした後にsetup.py install実行します。

例

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

コマンドラインから次を実行できます: python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

ノート

jupyter ノートブックの例は、このライブラリの使用方法のさらなる例を提供するノートブックディレクトリにあります。

スターター colab ノートブックを使用すると、ライブラリをダウンロードしてインストールせずにチェックアウトできます。

ウェブツール

訓練を受けたエージェントのビデオを閲覧するためのツールはここから入手できます。特定のビデオ (例: https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2) にリンクできることに注意してください。
訓練されたエージェントのビデオを神経活性化とともに表示するツールは、ここから入手できます。

動物園モデルを作成したトレーニングアルゴリズムのソースコード

私たちは 4 つのアルゴリズムを自分たちでトレーニングしました。

A2C - OpenAI のベースラインパッケージを使用しました
GA - Uber によってリリースされた高速 GPU 実装バージョンを使用しました
ES - Uber がリリースした高速 GPU バージョンを使用しました
Ape-X - Uber がリリースしたレプリケーションを使用しました
IMPALA - DeepMind からリリースされたコードを使用しました

ドーパミンモデルリリースの 2 つのアルゴリズム (DQN と Rainbow) からトレーニングされた最終モデルを取得しました。

DQN - ここでの実装
Rainbow - ここでの実装

引用

この著作物を出版物で引用するには、次の BibTex エントリを使用してください。

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}