cartpole

Carrito

Reforzamiento de la solución de aprendizaje del Cartpole de OpenAI.

Consulte el artículo medio correspondiente: Cartpole - Introducción al aprendizaje de refuerzo (DQN - profundo Q -learning)

Acerca de

Un poste está unido por una articulación no activada a un carro, que se mueve a lo largo de una pista sin fricción. El sistema se controla aplicando una fuerza de +1 o -1 al CART. El péndulo comienza en posición vertical, y el objetivo es evitar que se caiga. Se proporciona una recompensa de +1 para cada paso de tiempo que el poste permanece en posición vertical. El episodio termina cuando el poste está a más de 15 grados de vertical, o el carro mueve más de 2.4 unidades del centro. fuente

Dqn

DQN estándar con repetición de experiencia.

Hyperparameters:

• Gamma = 0.95
• Learning_Rate = 0.001
• Memoria_size = 1000000
• Batch_size = 20
• Exploración_max = 1.0
• Exploration_min = 0.01
• Exploration_decay = 0.995

Estructura del modelo:

1. Capa densa - Entrada: 4 , Salida: 24 , Activación: Relu
2. Capa densa - Entrada 24 , Salida: 24 , Activación: Relu
3. Capa densa - Entrada 24 , salida: 2 , activación: lineal

• Función de pérdida de MSE
• Adam Optimizer

Actuación

Cartpole-V0 define la "resolución" como una recompensa promedio de 195.0 en más de 100 pruebas consecutivas. fuente

Ejemplo de prueba gif

Gráfico de prueba de ejemplo

Cuadro de prueba resuelto

Autor

Greg (Grzegorz) Surma

CARTERA

Github

Blog