atari model zoo
1.0.0
El objetivo de este proyecto es difundir agentes de aprendizaje por refuerzo profundo entrenados mediante una variedad de algoritmos y permitir su fácil análisis, comparación y visualización. La esperanza es reducir la fricción para futuras investigaciones sobre la comprensión de los agentes de aprendizaje por refuerzo. Este proyecto hace uso de la excelente biblioteca de visualización de redes neuronales Lucid y se integra con el lanzamiento del modelo Dopamine.
En IJCAI 2019 se publicó un artículo que presenta este trabajo: Un zoológico modelo Atari para analizar, visualizar y comparar agentes de aprendizaje por refuerzo profundo.
Este paquete de software va acompañado de una versión binaria de (1) modelos congelados entrenados en juegos de Atari mediante una variedad de métodos de aprendizaje por refuerzo profundo y (2) experiencia de juego en caché de esos agentes en sus entornos de entrenamiento, que se aloja en línea.
Dependencias:
Para instalar, ejecute setup.py install después de instalar las dependencias.
import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *
algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()
# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()
# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()
m . load_graphdef ()
m . import_graph ()
conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show () Desde la línea de comando puedes ejecutar: python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4
Los cuadernos de jupyter de ejemplo se encuentran en el directorio de cuadernos y brindan más ejemplos de cómo se puede usar esta biblioteca.
Un cuaderno de inicio de colab le permite consultar la biblioteca sin descargarla ni instalarla.
Una herramienta para ver videos de agentes capacitados está disponible aquí; tenga en cuenta que es posible vincular a vídeos específicos, por ejemplo, https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2.
Aquí está disponible una herramienta para ver vídeos de agentes entrenados junto con sus activaciones neuronales.
Nosotros mismos entrenamos cuatro algoritmos:
Tomamos modelos finales entrenados de dos algoritmos (DQN y Rainbow) del lanzamiento del modelo Dopamine:
Para citar este trabajo en publicaciones, utilice la siguiente entrada BibTex:
@inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}
Si tiene preguntas, comentarios y sugerencias, envíe un correo electrónico a [email protected].
