หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เต้น 6 nimmt! ด้วยการเรียนรู้เสริมแรง

6 nimmt!

6 nimmt! เป็นเกมไพ่ที่ได้รับรางวัลสำหรับผู้เล่นสองถึงสิบคนจากปี 1994 อ้างถึงวิกิพีเดีย:

เกมดังกล่าวมีไพ่ 104 ใบแต่ละใบมีสัญลักษณ์หัวของวัวหนึ่งถึงเจ็ดตัวที่แสดงถึงจุดโทษ รอบสิบรอบถูกเล่นโดยผู้เล่นทุกคนวางการ์ดหนึ่งใบที่พวกเขาเลือกไว้บนโต๊ะ การ์ดที่วางจะถูกจัดเรียงในสี่แถวตามกฎที่คงที่ หากวางไว้ในแถวที่มีไพ่ห้าใบแล้วผู้เล่นจะได้รับไพ่ห้าใบซึ่งนับเป็นคะแนนโทษที่มีค่ารวมในตอนท้ายของรอบ

6 nimmt! เป็นเกมที่แข่งขันได้ของข้อมูลที่ไม่สมบูรณ์และการสุ่มจำนวนมาก การเล่นที่ดีต้องใช้การวางแผนที่ยุติธรรม เกมเล่นพร้อมกันทำให้ตัวเองเป็นเกมที่คิดและทู่ในขณะที่กลยุทธ์ระยะยาวบางอย่างจำเป็นเพื่อหลีกเลี่ยงการสิ้นสุดในตำแหน่งเกมที่ยากลำบาก

เราใช้รุ่นที่ง่ายขึ้นเล็กน้อยของ 6 NIMMT! เป็นสภาพแวดล้อมของ Openai Gym ซึ่งแตกต่างจากในเกมดั้งเดิมเมื่อเล่นไพ่ต่ำกว่าการ์ดใบสุดท้ายในทุกสแต็คผู้เล่นไม่สามารถเลือกสแต็กที่จะเปลี่ยนได้อย่างอิสระ แต่แทนที่จะใช้สแต็กด้วยคะแนนโทษน้อยที่สุด

ตัวแทน RL

จนถึงตอนนี้เราได้นำตัวแทนดังต่อไปนี้มาใช้:

  • เสริมกำลัง : อัลกอริทึมการไล่ระดับสีดั้งเดิม
  • Acer : ตัวแทนนักแสดงนักแสดงนอกนโยบายที่มีการสุ่มตัวอย่างความสำคัญที่ถูกตัดทอนด้วยการแก้ไขอคติ ซึ่งแตกต่างจาก Acer ดั้งเดิมการดำเนินการของเราไม่ได้ใช้การเพิ่มประสิทธิภาพนโยบายภูมิภาคที่น่าเชื่อถือหรือการดวลเครือข่ายสุ่ม
  • D3QN : อัลกอริทึมการดวล Q-learning ที่ลึกล้ำด้วยการเล่นซ้ำลำดับความสำคัญและอวนที่มีเสียงดัง สิ่งนี้มีองค์ประกอบส่วนใหญ่ของสายรุ้ง
  • MCS : การค้นหา Monte-Carlo ซึ่งการกระทำทั้งหมดเป็นตัวอย่างที่สม่ำเสมอ (ไม่มีเครือข่ายประสาทที่เกี่ยวข้อง)
  • Alpha0.5 : Monte-Carlo Tree Search ชี้นำโดยนโยบายและท่อประสาท ได้รับแรงบันดาลใจจาก Alphazero และอัลกอริทึมที่คล้ายกันแก้ไขสำหรับสถานการณ์ข้อมูลที่ไม่สมบูรณ์ของ 6 NIMMT!
  • สุ่ม : พื้นฐานนโยบายแบบสุ่ม
  • มนุษย์ : อินเทอร์เฟซสำหรับผู้เล่นมนุษย์

ผลลัพธ์

ในการทดสอบครั้งแรกเราวิ่งทัวร์นาเมนต์เล่นเองง่าย ๆ เริ่มต้นด้วยตัวแทนที่ไม่ได้รับการฝึกฝนห้าคนเราเล่นเกมทั้งหมด 4,000 เกม สำหรับแต่ละเกมเราสุ่มเลือกตัวแทนสองสามหรือสี่ตัวเพื่อเล่น (และเรียนรู้) ทุก ๆ 400 เกมที่เราโคลนเอเจนต์ที่มีประสิทธิภาพดีที่สุดและเตะเกมที่มีประสิทธิภาพต่ำกว่า ในที่สุดเราก็เก็บอินสแตนซ์ที่ดีที่สุดของแต่ละประเภทตัวแทน

ผลลัพธ์มากกว่าเกมทั้งหมด:

ตัวแทน เล่นเกม คะแนนเฉลี่ย ชนะเศษส่วน เอโล
Alpha0.5 2246 -7.79 0.42 2349
MCS 2314 -8.06 0.40 2288
ACER 1408 -12.28 0.18 1629
D3QN 1151 -13.32 0.17 ค.ศ. 1577
แบบสุ่ม 1382 -13.49 0.19 ค.ศ. 1556

นี่คือวิธีที่ประสิทธิภาพ (วัดใน ELO) ของแบบจำลองที่พัฒนาขึ้นในระหว่างการแข่งขัน:

ELO เทียบกับจำนวนเกมที่เล่น

การค้นหาต้นไม้ Monte-Carlo เป็นสิ่งสำคัญและนำไปสู่ผู้เล่นที่แข็งแกร่ง ในทางกลับกันตัวแทน RL ที่ปราศจากโมเดลพยายามดิ้นรนเพื่อให้ชัดเจนกว่าพื้นฐานแบบสุ่ม เนื่องจากลักษณะสุ่มของเกมความน่าจะเป็นที่ชนะและความแตกต่างของ ELO ไม่รุนแรงเท่าที่ควรจะเป็นสำหรับหมากรุก โปรดทราบว่าเรายังไม่ได้ปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์ใด ๆ

หลังจากเฟสเล่นเองนี้ตัวแทน Alpha0.5 เผชิญหน้ากับเมิร์ลซึ่งเป็นหนึ่งใน 6 NIMMT ที่ดีที่สุด! ผู้เล่นในกลุ่มเพื่อนของเราสำหรับ 5 เกม นี่คือคะแนน:

เกม 1 2 3 4 5 ผลรวม
เมิน -10 -16 -11 -3 -4 -44
Alpha0.5 -1 -3 -14 -8 -6 -32

รันรหัส

สมมติว่าคุณติดตั้ง Anaconda แล้วโคลน repo ด้วย 

 git clone [email protected]:johannbrehmer/rl-6nimmt.git

และสร้างสภาพแวดล้อมเสมือนจริงด้วย 

 conda env create -f environment.yml
conda activate rl

ทั้งตัวแทนเล่นเองและเกมระหว่างผู้เล่นมนุษย์และตัวแทนที่ผ่านการฝึกอบรมจะแสดงให้เห็นใน simple_tournament.ipynb

ผู้มีส่วนร่วม

รวบรวมโดย Johann Brehmer และ Marcel Gutsche

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด