atari model zoo

Zoológico Atari

O objetivo deste projeto é disseminar agentes de aprendizagem por reforço profundo treinados por uma variedade de algoritmos e permitir fácil análise, comparação e visualização deles. A esperança é reduzir o atrito para futuras pesquisas sobre a compreensão dos agentes de aprendizagem por reforço. Este projeto faz uso da excelente biblioteca de visualização de redes neurais Lucid e integra-se ao lançamento do modelo Dopamine.

Um artigo apresentando este trabalho foi publicado no IJCAI 2019: An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents.

Sobre

Este pacote de software é acompanhado por uma versão binária de (1) modelos congelados treinados em jogos Atari por uma variedade de métodos de aprendizagem por reforço profundo e (2) experiência de jogo em cache desses agentes em seus ambientes de treinamento, que é hospedado online.

Instalação e configuração

Dependências:

• tensorflow (com versão >0.8 <2.0; atualmente não oferecemos suporte a TF 2.x )
• lúcido (versão
• matplotlib para algumas visualizações
• moviepy (opcional para fazer filmes)
• academia (instalada com suporte para Atari; opcional para geração de novos rollouts)
• opencv-python (opcional para gerar novas implementações)
• tensorflow-onnx (opcional para exportar para o formato ONNX)

Para instalar, execute setup.py install após instalar as dependências.

Exemplos

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

Na linha de comando você pode executar: python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

Cadernos

Exemplo de notebooks jupyter ficam no diretório notebook que fornece mais exemplos de como esta biblioteca pode ser usada.

Um notebook colaborativo inicial permite que você verifique a biblioteca sem baixá-la e instalá-la.

Ferramentas da web

• Uma ferramenta para visualização de vídeos de agentes treinados está disponível aqui; observe que é possível vincular a vídeos específicos, por exemplo, https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2.

• Uma ferramenta para visualizar vídeos de agentes treinados juntamente com suas ativações neurais está disponível aqui.

Código-fonte para algoritmos de treinamento que produziram modelos de zoológico

Nós mesmos treinamos quatro algoritmos:

• A2C – usamos o pacote de linhas de base da OpenAI
• GA - usamos a versão de implementação rápida de GPU lançada pela Uber
• ES - usamos a versão GPU rápida lançada pela Uber
• Ape-X – usamos a replicação liberada pela Uber
• IMPALA - usamos o código lançado pela DeepMind

Pegamos modelos finais treinados de dois algoritmos (DQN e Rainbow) do lançamento do modelo Dopamine:

• DQN - implementação aqui
• Arco-íris - implementação aqui

Citação

Para citar este trabalho em publicações, use a seguinte entrada BibTex:

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}

Informações de contato

Para dúvidas, comentários e sugestões, envie um e-mail para [email protected].