atari model zoo
1.0.0
Das Ziel dieses Projekts ist die Verbreitung von Deep-Reinforcement-Learning-Agenten, die mit einer Vielzahl von Algorithmen trainiert wurden, und deren einfache Analyse, Vergleich und Visualisierung zu ermöglichen. Die Hoffnung besteht darin, die Reibung für weitere Forschungen zum Verständnis von Reinforcement-Learning-Agenten zu verringern. Dieses Projekt nutzt die hervorragende Visualisierungsbibliothek für neuronale Netzwerke von Lucid und lässt sich in die Dopamin-Modellversion integrieren.
Ein Artikel, der diese Arbeit vorstellt, wurde auf der IJCAI 2019 veröffentlicht: An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents.
Dieses Softwarepaket wird von einer Binärversion von (1) eingefrorenen Modellen begleitet, die mit einer Vielzahl tiefgreifender Reinforcement-Learning-Methoden auf Atari-Spielen trainiert wurden, und (2) zwischengespeicherter Spielerfahrung dieser Agenten in ihren Trainingsumgebungen, die online gehostet wird.
Abhängigkeiten:
Führen Sie zur Installation setup.py install aus, nachdem Sie die Abhängigkeiten installiert haben.
import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *
algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()
# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()
# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()
m . load_graphdef ()
m . import_graph ()
conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show () Von der Befehlszeile aus können Sie Folgendes ausführen: python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4
Im Notebook-Verzeichnis befinden sich Beispiel-Jupyter-Notebooks, die weitere Beispiele für die Verwendung dieser Bibliothek enthalten.
Mit einem Starter-Colab-Notebook können Sie die Bibliothek ausprobieren, ohne sie herunterladen und installieren zu müssen.
Ein Tool zum Ansehen von Videos geschulter Agenten ist hier verfügbar; Beachten Sie, dass es möglich ist, auf bestimmte Videos zu verlinken, z. B. https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2.
Ein Tool zum Anzeigen von Videos geschulter Agenten zusammen mit ihren neuronalen Aktivierungen ist hier verfügbar.
Wir haben selbst vier Algorithmen trainiert:
Wir haben trainierte endgültige Modelle von zwei Algorithmen (DQN und Rainbow) aus der Dopamin-Modellversion übernommen:
Um dieses Werk in Publikationen zu zitieren, verwenden Sie bitte den folgenden BibTex-Eintrag:
@inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}
Für Fragen, Kommentare und Vorschläge senden Sie eine E-Mail an [email protected].
