pgx

強化学習 (RL) 用の GPU アクセラレーションによる並列ゲーム シミュレーターのコレクション

注記

このプロジェクトが役立つと思われた場合は、コミュニティを成長させ、さらなる開発の動機付けを支援するために、GitHub スターを通じてサポートしていただければ幸いです。

v1簡略化されたお子様向けの麻雀。三目並べ
"tic_tac_toe" v0 ３連勝です。

バージョン管理ポリシー

各環境はバージョン管理されており、エージェントのパフォーマンスに影響を与える変更がある場合、または API との下位互換性のない変更がある場合、バージョンが増分されます。完全な再現性を追求したい場合は、以下のようにPgxのバージョンや各環境を確認することをお勧めします。

 > >> pgx . __version__
'1.0.0'
> >> env . version
'v0' 

こちらも参照

Pgx は、これらのJAX ネイティブ環境を(クラシックな) ボード ゲーム スーツで補完することを目的としています。

• RobertTLange/gymnax: 一般的な RL 環境 (クラシック コントロール、bsuite、MinAtar など) およびメタ RL タスクの JAX 実装
• google/brax: JAX および連続空間 RL タスク (ant、fetch、humanoid など) での剛体物理シミュレーション
• instadeepai/jumanji: JAX における多様で困難な RL 環境のスイート (ビンパッキング、ルーティングの問題など)
• flairox/jaxmarl: JAX のマルチエージェント RL 環境 (簡素化された StarCraft など)
• corl-team/xland-minigrid: MiniGrid と XLand に触発された JAX の Meta-RL グリッドワールド環境
• MichaelTMatthews/Craftax: オープンエンド RL 用の JAX の (Craafter + NetHack)
• epignatelli/navix: JAX での MiniGrid の再実装

Pgx をこれらのJAX ネイティブのアルゴリズム/実装と組み合わせるのは、興味深い方向性かもしれません。

• Anakin フレームワーク: TPU 上の JAX ネイティブ環境で動作する非常に効率的な RL フレームワーク
• deepmind/mctx: AlphaZero および MuZero を含む JAX ネイティブ MCTS 実装
• deepmind/rlax: JAX ネイティブ RL コンポーネント
• google/evojax: ハードウェア アクセラレーションによる神経進化
• RobertTLange/evosax: JAX ネイティブの進化戦略 (ES) の実装
• アダプティブ・インテリジェント・ロボティクス/QDax: JAX ネイティブの品質多様性 (QD) アルゴリズム
• luchris429/purejaxrl: Jax ネイティブ RL 実装

制限

現在、囲碁やチェスなどの一部の環境は、TPU では適切なパフォーマンスを発揮しません。代わりに GPU を使用してください。

引用

仕事で Pgx を使用している場合は、私たちの論文を引用してください。

 @inproceedings{koyamada2023pgx,
  title={Pgx: Hardware-Accelerated Parallel Game Simulators for Reinforcement Learning},
  author={Koyamada, Sotetsu and Okano, Shinri and Nishimori, Soichiro and Murata, Yu and Habara, Keigo and Kita, Haruka and Ishii, Shin},
  booktitle={Advances in Neural Information Processing Systems},
  pages={45716--45743},
  volume={36},
  year={2023}
}

ライセンス

アパッチ-2.0

拡大する