cartpole

Cartpole

Solution d'apprentissage de renforcement du cartpole de l'Openai.

Consultez l'article moyen correspondant: Cartpole - Introduction à l'apprentissage du renforcement (DQN - Deep Q-Learning)

À propos

Un poteau est attaché par un joint non actif à un chariot, qui se déplace le long d'une piste sans frottement. Le système est contrôlé en appliquant une force de +1 ou -1 au chariot. Le pendule commence debout et l'objectif est de l'empêcher de tomber. Une récompense de +1 est fournie pour chaque pas de temps que le poteau reste droit. L'épisode se termine lorsque le poteau est à plus de 15 degrés de vertical, ou que le chariot se déplace à plus de 2,4 unités du centre. source

Dqn

DQN standard avec relecture d'expérience.

Hyperparamètres:

• Gamma = 0,95
• Apprentissage_rate = 0,001
• Mémoire_size = 1000000
• Batch_size = 20
• Exploration_max = 1.0
• Exploration_min = 0,01
• Exploration_decay = 0,995

Structure du modèle:

1. Couche dense - entrée: 4 , sortie: 24 , activation: relu
2. Couche dense - entrée 24 , sortie: 24 , activation: relu
3. Couche dense - entrée 24 , sortie: 2 , activation: linéaire

• Fonction de perte MSE
• Adam Optimizer

Performance

Cartpole-V0 définit la «résolution» comme une récompense moyenne de 195,0 sur 100 essais consécutifs. source

Exemple de GIF d'essai

Exemple d'essai

Graphique des essais résolus

Auteur

Greg (Grzegorz) Surma

PORTEFEUILLE

Github

Blog