cartpole

รถเกวียน

โซลูชันการเรียนรู้การเสริมแรงของ catpole ของ Openai

ตรวจสอบบทความกลางที่เกี่ยวข้อง: cartpole - บทนำสู่การเรียนรู้การเสริมแรง (DQN - Deep Q -Learning)

เกี่ยวกับ

เสาถูกแนบมาด้วยข้อต่อที่ไม่มีการทำหน้าที่กับรถเข็นซึ่งเคลื่อนที่ไปตามแทร็กที่ไม่มีแรงเสียดทาน ระบบถูกควบคุมโดยใช้แรง +1 หรือ -1 กับรถเข็น ลูกตุ้มเริ่มต้นตรงและเป้าหมายคือการป้องกันไม่ให้มันล้มลง รางวัลของ +1 มีให้สำหรับทุกครั้งที่เสายังคงตั้งตรง ตอนจบลงเมื่อเสามากกว่า 15 องศาจากแนวตั้งหรือรถเข็นเคลื่อนที่มากกว่า 2.4 หน่วยจากศูนย์ แหล่งที่มา

DQN

มาตรฐาน DQN พร้อมประสบการณ์เล่นซ้ำ

Hyperparameters:

• แกมม่า = 0.95
• Learning_rate = 0.001
• memory_size = 1000000
• batch_size = 20
• Exploration_max = 1.0
• Exploration_min = 0.01
• Exploration_decay = 0.995

โครงสร้างแบบจำลอง:

1. ชั้นหนาแน่น - อินพุต: 4 , เอาต์พุต: 24 , การเปิดใช้งาน: Relu
2. ชั้นหนาแน่น - อินพุต 24 , เอาต์พุต: 24 , การเปิดใช้งาน: Relu
3. ชั้นหนาแน่น - อินพุต 24 , เอาต์พุต: 2 , การเปิดใช้งาน: เชิงเส้น

• ฟังก์ชั่นการสูญเสีย MSE
• Adam Optimizer

ผลงาน

Cartpole-V0 กำหนด "การแก้" เป็นรางวัลเฉลี่ย 195.0 มากกว่า 100 การทดลองติดต่อกัน แหล่งที่มา

ตัวอย่างการทดลองใช้ gif

ตัวอย่างแผนภูมิทดลองใช้

แผนภูมิการทดลองที่แก้ไขแล้ว

ผู้เขียน

Greg (Grzegorz) Surma

ผลงาน

คนอื่น ๆ

บล็อก