atari model zoo 다운로드 - atari model zoo 소스 코드 다운로드

atari model zoo

AI 소스 코드

1.0.0

다운로드

아타리 동물원

본 프로젝트의 목적은 다양한 알고리즘으로 훈련된 심층 강화학습 에이전트를 보급하고, 이를 쉽게 분석, 비교, 시각화할 수 있도록 하는 것입니다. 강화 학습 에이전트를 이해하기 위한 추가 연구를 위한 마찰을 줄이는 것이 희망입니다. 이 프로젝트는 뛰어난 Lucid 신경망 시각화 라이브러리를 활용하고 Dopamine 모델 릴리스와 통합됩니다.

이 작업을 소개하는 논문은 IJCAI 2019: An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents에 게재되었습니다.

에 대한

이 소프트웨어 패키지에는 (1) 다양한 심층 강화 학습 방법을 통해 Atari 게임에서 훈련된 고정 모델과 (2) 온라인으로 호스팅되는 훈련 환경에서 해당 에이전트의 캐시된 게임 플레이 경험의 바이너리 릴리스가 함께 제공됩니다.

설치 및 설정

종속성:

tensorflow(버전 >0.8 <2.0, 현재 TF 2.x를 지원하지 않음 )
명쾌한 (버전
일부 시각화를 위한 matplotlib
moviepy(영화 제작을 위한 선택 사항)
체육관(Atari 지원과 함께 설치, 새 롤아웃 생성을 위한 선택 사항)
opencv-python(새 롤아웃 생성을 위한 선택 사항)
tensorflow-onnx(ONNX 형식으로 내보내기 위한 선택 사항)

설치하려면 종속 항목을 설치한 후 setup.py install 실행하세요.

예

 import atari_zoo
from atari_zoo import MakeAtariModel
from pylab import *

algo = "a2c"
env = "ZaxxonNoFrameskip-v4"
run_id = 1
tag = "final"
m = MakeAtariModel ( algo , env , run_id , tag )()

# get observations, frames, and ram state from a representative rollout
obs = m . get_observations ()
frames = m . get_frames ()
ram = m . get_ram ()

# visualize first layer of convolutional weights
session = atari_zoo . utils . get_session ()

m . load_graphdef ()
m . import_graph ()

conv_weights = m . get_weights ( session , 0 )
atari_zoo . utils . visualize_conv_w ( conv_weights )
show ()

명령줄에서 다음을 실행할 수 있습니다: python -m atari_zoo.activation_movie --algo rainbow --environment PongNoFrameskip-v4 --run_id 1 --output ./pong_rainbow1_activation.mp4

노트북

Jupyter 노트북 예시는 이 라이브러리를 사용하는 방법에 대한 추가 예시를 제공하는 노트북 디렉토리에 있습니다.

스타터 Colab 노트북을 사용하면 라이브러리를 다운로드하고 설치하지 않고도 라이브러리를 확인할 수 있습니다.

웹 도구

훈련된 상담원의 비디오를 볼 수 있는 도구는 여기에서 제공됩니다. 특정 비디오에 대한 링크는 가능합니다(예: https://uber-research.github.io/atari-model-zoo/video.html?algo=apex&game=Seaquest&tag=final&run=2).
훈련된 에이전트의 신경 활성화와 함께 비디오를 볼 수 있는 도구는 여기에서 사용할 수 있습니다.

동물원 모델을 생성한 훈련 알고리즘의 소스 코드

우리는 네 가지 알고리즘을 직접 훈련했습니다.

A2C - OpenAI의 기준선 패키지를 사용했습니다.
GA - Uber에서 출시한 빠른 GPU 구현 버전을 사용했습니다.
ES - Uber에서 출시한 빠른 GPU 버전을 사용했습니다.
Ape-X - Uber에서 출시한 복제를 사용했습니다.
IMPALA - DeepMind에서 출시된 코드를 사용했습니다.

우리는 Dopamine 모델 릴리스의 두 가지 알고리즘(DQN 및 Rainbow)에서 훈련된 최종 모델을 가져왔습니다.

DQN - 여기서 구현
레인보우 - 여기서 구현

소환

이 작품을 출판물에 인용하려면 다음 BibTex 항목을 사용하세요.

 @inproceedings{
title = {An Atari Model Zoo for Analyzing, Visualizing, and Comparing Deep Reinforcement Learning Agents},
author = {Felipe Such, Vashish Madhavan, Rosanne Liu, Rui Wang, Pablo Castro, Yulun Li, Jiale Zhi, Ludwig Schubert, Marc G. Bellemare, Jeff Clune, Joel Lehman},
booktitle = {Proceedings of IJCAI 2019},
year = {2019},
}