cartpole

Kartpole

Verstärkungslernlösung der OpenAI -Kartpole.

Schauen Sie sich den entsprechenden mittelgroßen Artikel an: Cartpole - Einführung in das Verstärkungslernen (DQN - Deep Q -Learning).

Um

Eine Pole wird durch ein nicht verwandeltes Gelenk an einen Wagen angebracht, der sich entlang einer reibungslosen Spur bewegt. Das System wird durch Anwenden einer Kraft von +1 oder -1 auf den Wagen gesteuert. Das Pendel beginnt aufrecht, und das Ziel ist es, zu verhindern, dass es umfällt. Für jeden Zeitschritt wird eine Belohnung von +1 bereitgestellt, die der Pol aufrecht bleibt. Die Episode endet, wenn der Pol mehr als 15 Grad von vertikal ist oder der Wagen mehr als 2,4 Einheiten aus der Mitte bewegt. Quelle

DQN

Standard -DQN mit Erlebnisreplay.

Hyperparameter:

• Gamma = 0,95
• Learning_rate = 0,001
• MEAME_SIZE = 1000000
• Batch_size = 20
• Exploration_max = 1.0
• Exploration_Min = 0,01
• Exploration_Decay = 0,995

Modellstruktur:

1. Dichte Schicht - Eingang: 4 , Ausgabe: 24 , Aktivierung: Relu
2. Dichte Schicht - Eingabe 24 , Ausgang: 24 , Aktivierung: Relu
3. Dichte Schicht - Eingabe 24 , Ausgang: 2 , Aktivierung: linear

• MSE -Verlustfunktion
• Adam Optimierer

Leistung

Cartpole-V0 definiert "Lösung" als durchschnittliche Belohnung von 195,0 über 100 aufeinanderfolgende Versuche. Quelle

Beispiel Versuch GIF

Beispielversuchungsdiagramm

Löste Versuche -Diagramm

Autor

Greg (Grzegorz) Surma

Portfolio

Github

Blog