cartpole

カートポール

Openaiのカートポールの強化学習ソリューション。

対応する媒体記事をご覧ください：カートポール - 補強学習の紹介（DQN-ディープQラーニング）

について

ポールは、機能していないジョイントによってカートに取り付けられ、摩擦のないトラックに沿って移動します。システムは、+1または-1の力をカートに適用することにより制御されます。振り子は直立して始まり、目標はそれが倒れないようにすることです。ポールが直立したままであるすべてのタイムステップに対して+1の報酬が提供されます。エピソードは、ポールが垂直から15度を超えるか、カートが中央から2.4ユニット以上移動する場合に終了します。ソース

DQN

エクスペリエンスリプレイを備えた標準DQN。

ハイパーパラメーター：

• ガンマ= 0.95
• Learning_rate = 0.001
• memory_size = 1000000
• batch_size = 20
• Exploration_max = 1.0
• Exploration_min = 0.01
• Exploration_decay = 0.995

モデル構造：

1. 高密度層 - 入力： 4 、出力： 24 、アクティベーション： relu
2. 密な層 - 入力24 、出力： 24 、アクティベーション： relu
3. 高密度層 - 入力24 、出力： 2 、アクティベーション：線形

• MSE損失関数
• Adam Optimizer

パフォーマンス

Cartpole-V0は、「解決」を100回の連続した試験で195.0の平均報酬を得ると定義しています。ソース

試験gifの例

試験チャートの例

解決された試行チャート

著者

グレッグ（Grzegorz）Surma

ポートフォリオ

github

ブログ