atari model zoo

Атари Зоопарк

Целью этого проекта является распространение агентов глубокого обучения с подкреплением, обученных с помощью различных алгоритмов, и обеспечение простого их анализа, сравнения и визуализации. Надежда состоит в том, чтобы уменьшить трудности для дальнейших исследований в области понимания агентов обучения с подкреплением. В этом проекте используется превосходная библиотека визуализации нейронных сетей Lucid и интегрируется с версией модели Dopamine.

Документ, представляющий эту работу, был опубликован на IJCAI 2019: Модельный зоопарк Atari для анализа, визуализации и сравнения агентов глубокого обучения с подкреплением.

О

К этому пакету программного обеспечения прилагается двоичный выпуск (1) замороженных моделей, обученных в играх Atari с помощью различных методов глубокого обучения с подкреплением, и (2) кэшированного игрового опыта этих агентов в их обучающих средах, который размещается в Интернете.

Установка и настройка

Зависимости:

• tensorflow (с версией >0.8 <2.0; в настоящее время мы не поддерживаем TF 2.x )
• ясный (версия
• matplotlib для некоторых визуализаций
• Moviepy (необязательно для создания фильмов)
• тренажерный зал (устанавливается с поддержкой Atari; необязательно для создания новых выпусков)
• opencv-python (необязательно для создания новых развертываний)
• tensorflow-onnx (необязательно для экспорта в формат ONNX)

Для установки запустите setup.py install после установки зависимостей.

Примеры

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

Из командной строки вы можете запустить: python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

Ноутбуки

Примеры блокнотов Jupyter находятся в каталоге блокнотов и дают дополнительные примеры использования этой библиотеки.

Начальный блокнот Colab позволяет вам пользоваться библиотекой, не загружая и не устанавливая ее.

Веб-инструменты

• Инструмент для просмотра видео обученных агентов доступен здесь; обратите внимание, что можно ссылаться на конкретные видео, например https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2.

• Инструмент для просмотра видео обученных агентов вместе с их нейронными активациями доступен здесь.

Исходный код алгоритмов обучения, создающих модели зоопарка.

Мы сами обучили четыре алгоритма:

• A2C — мы использовали базовый пакет от OpenAI.
• GA — мы использовали версию быстрой реализации графического процессора, выпущенную Uber.
• ES — мы использовали быструю версию графического процессора, выпущенную Uber.
• Ape-X — мы использовали репликацию, выпущенную Uber
• ИМПАЛА — мы использовали выпущенный код от DeepMind

Мы взяли обученные финальные модели из двух алгоритмов (DQN и Rainbow) из выпуска модели Dopamine:

• DQN — реализация здесь
• Радуга - реализация здесь

Цитирование

Чтобы цитировать эту работу в публикациях, используйте следующую запись BibTex:

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}

Контактная информация

С вопросами, комментариями и предложениями пишите по адресу [email protected].