atari model zoo

Zoo Atari

L'objectif de ce projet est de diffuser des agents d'apprentissage par renforcement profond formés par une variété d'algorithmes et de permettre une analyse, une comparaison et une visualisation faciles de ceux-ci. L’espoir est de réduire les frictions pour des recherches plus approfondies sur la compréhension des agents d’apprentissage par renforcement. Ce projet utilise l'excellente bibliothèque de visualisation de réseau neuronal Lucid et s'intègre à la version du modèle Dopamine.

Un article présentant ces travaux a été publié lors de l'IJCAI 2019 : An Atari Model Zoo for Analysing, Visualizing, and Comparing Deep Reinforcement Learning Agents.

À propos

Ce progiciel est accompagné d'une version binaire de (1) modèles gelés formés sur les jeux Atari par une variété de méthodes d'apprentissage par renforcement profond, et (2) une expérience de jeu mise en cache de ces agents dans leurs environnements de formation, hébergée en ligne.

Installation et configuration

Dépendances :

• tensorflow (avec la version >0.8 <2.0 ; nous ne prenons actuellement pas en charge TF 2.x )
• lucide (version
• matplotlib pour certaines visualisations
• moviepy (facultatif pour faire des films)
• salle de sport (installée avec prise en charge pour Atari ; facultative pour générer de nouveaux déploiements)
• opencv-python (facultatif pour générer de nouveaux déploiements)
• tensorflow-onnx (facultatif pour l'exportation au format ONNX)

Pour installer, exécutez setup.py install après avoir installé les dépendances.

Exemples

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

Depuis la ligne de commande, vous pouvez exécuter : python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

Carnets

Des exemples de notebooks jupyter se trouvent dans le répertoire notebook et donnent d'autres exemples de la façon dont cette bibliothèque peut être utilisée.

Un notebook Colab de démarrage vous permet de consulter la bibliothèque sans la télécharger ni l'installer.

Outils Web

• Un outil de visualisation de vidéos d'agents formés est disponible ici ; notez qu'il est possible de créer un lien vers des vidéos spécifiques, par exemple https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2.

• Un outil permettant de visualiser des vidéos d'agents formés ainsi que leurs activations neuronales est disponible ici.

Code source des algorithmes de formation qui ont produit des modèles de zoo

Nous avons nous-mêmes formé quatre algorithmes :

• A2C - nous avons utilisé le package baselines d'OpenAI
• GA - nous avons utilisé la version d'implémentation rapide du GPU publiée par Uber
• ES - nous avons utilisé la version GPU rapide publiée par Uber
• Ape-X - nous avons utilisé la réplication publiée par Uber
• IMPALA - nous avons utilisé le code publié par DeepMind

Nous avons utilisé des modèles finaux entraînés à partir de deux algorithmes (DQN et Rainbow) de la version du modèle Dopamine :

• DQN - implémentation ici
• Rainbow - implémentation ici

Citation

Pour citer ce travail dans des publications, veuillez utiliser l'entrée BibTex suivante :

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}

Coordonnées

Pour des questions, des commentaires et des suggestions, envoyez un e-mail à [email protected].