atari model zoo

Kebun Binatang Atari

Tujuan dari proyek ini adalah untuk menyebarkan agen pembelajaran penguatan mendalam yang dilatih oleh berbagai algoritma, dan untuk memungkinkan analisis, perbandingan, dan visualisasi yang mudah. Harapannya adalah untuk mengurangi gesekan untuk penelitian lebih lanjut dalam memahami agen pembelajaran penguatan. Proyek ini memanfaatkan perpustakaan visualisasi jaringan saraf Lucid yang sangat baik, dan terintegrasi dengan rilis model Dopamin.

Makalah yang memperkenalkan karya ini diterbitkan di IJCAI 2019: An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents.

Tentang

Paket perangkat lunak ini disertai dengan rilis biner (1) model beku yang dilatih pada game Atari dengan berbagai metode pembelajaran penguatan mendalam, dan (2) pengalaman gameplay yang di-cache dari agen-agen tersebut di lingkungan pelatihan mereka, yang dihosting secara online.

Instalasi dan Pengaturan

Ketergantungan:

• tensorflow (dengan versi >0.8 <2.0; saat ini kami tidak mendukung TF 2.x )
• jelas (versi
• matplotlib untuk beberapa visualisasi
• moviepy (opsional untuk membuat film)
• gym (diinstal dengan dukungan untuk Atari; opsional untuk menghasilkan peluncuran baru)
• opencv-python (opsional untuk menghasilkan peluncuran baru)
• tensorflow-onnx (opsional untuk mengekspor ke format ONNX)

Untuk menginstal, jalankan setup.py install setelah menginstal dependensi.

Contoh

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

Dari baris perintah Anda dapat menjalankan: python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

buku catatan

Contoh notebook jupyter ada di direktori notebook yang memberikan contoh lebih lanjut tentang bagaimana perpustakaan ini dapat digunakan.

Notebook colab pemula memungkinkan Anda memeriksa perpustakaan tanpa mengunduh dan menginstalnya.

Alat web

• Alat untuk melihat video agen terlatih tersedia di sini; perhatikan bahwa dimungkinkan untuk menautkan ke video tertentu, misalnya https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2.

• Alat untuk melihat video agen terlatih beserta aktivasi sarafnya tersedia di sini.

Kode sumber untuk algoritma pelatihan yang menghasilkan model kebun binatang

Kami sendiri yang melatih empat algoritme:

• A2C - kami menggunakan paket baseline dari OpenAI
• GA - kami menggunakan versi implementasi GPU cepat yang dirilis oleh Uber
• ES - kami menggunakan versi GPU cepat yang dirilis oleh Uber
• Ape-X - kami menggunakan replikasi yang dirilis oleh Uber
• IMPALA - kami menggunakan kode yang dirilis dari DeepMind

Kami mengambil model akhir terlatih dari dua algoritma (DQN dan Rainbow) dari rilis model Dopamin:

• DQN - implementasi di sini
• Pelangi - implementasi di sini

Kutipan

Untuk mengutip karya ini dalam publikasi, silakan gunakan entri BibTex berikut:

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}

Informasi Kontak

Untuk pertanyaan, komentar, dan saran, email [email protected].