LeagueAI

ลีกเอไอ

การใช้งาน AI Player สำหรับวิดีโอเกม League of Legends โดยอาศัยการจดจำรูปภาพโดยใช้ PyTorch

วิดีโอสาธิต: https://youtu.be/iB4PoNJuXzc

ข้อควรสนใจ: เวอร์ชันเก่าที่ใช้ Tensorflow สามารถพบได้ในสาขา "LeagueAI_2017"

ข้อควรสนใจ: โปรเจ็กต์นี้ยังอยู่ระหว่างการพัฒนา ชุดข้อมูลที่ฉันสร้างและตุ้มน้ำหนักการตรวจจับวัตถุ YOLOv3 ที่ฉันฝึกฝนจะพร้อมใช้งานเร็วๆ นี้!

รุ่นเก่า

นี่เป็นเวอร์ชันใหม่กว่าของการใช้งานเก่า และจะต้องจัดเตรียมเฟรมเวิร์กที่ช่วยให้คุณสร้างแอปพลิเคชันของคุณเองตามการตรวจจับวัตถุในเกม ตามตัวอย่าง ฉันจะใช้บอท LeagueAI รุ่นเก่าปี 2017 บนเฟรมเวิร์กนี้ วิดีโอสาธิตการใช้งาน Tensorflow ตั้งแต่ปี 2017: https://www.youtube.com/watch?v=KRWFCaXfOTk

สิ่งที่ต้องทำ

1. การสร้างชุดข้อมูล เพิ่มวัตถุเหล่านี้ลงในข้อมูลดิบ

• แก้ไขข้อบกพร่องบางอย่างด้วยการครอบตัดทาวเวอร์ของข้อมูลดิบ
• หอคอยในหมอกแห่งสงคราม
• การชุบป้อมปืน
• โครงสร้าง Fog of War หรือตัวกรอง Fog of War ใช่ไหม
• ลูกน้องที่ตายแล้ว
• เพิ่มอนุภาคแบบสุ่มให้กับภาพหน้าจอ การระเบิด และอื่นๆ
• เคอร์เซอร์ที่แตกต่างกันมากขึ้น
• เคอร์เซอร์เพิ่มเติม
• แถบสุขภาพ

2. สิ่งที่ต้องทำอื่นๆ:

• แยกตำแหน่งของวัตถุออกจากแผนที่ย่อเพื่อทำความเข้าใจแผนที่โลก
• การคำนวณ mAP จำเป็นต้องทำใหม่ บางครั้งวัตถุถูกใช้สองครั้งในการคำนวณแผนที่

วัตถุที่ตรวจพบได้ในปัจจุบัน

• หอคอยแดง
• ลูกน้องแคนนอนสีแดง
• มินเนียนแคสเตอร์แดง
• มินเนี่ยนระยะประชิดสีแดง
• เวย์น

วัตถุที่หายไป

• แชมป์มากขึ้น
• เพิ่มสารยับยั้งสีแดง, เน็กซัส, ซุปเปอร์มินเนี่ยน
• เพิ่มหอคอยสีน้ำเงิน, Nexus, สารยับยั้ง, สมุน

เชิงนามธรรม

ภารกิจคือการสร้างตัวแทนที่สามารถเล่นเกมต่อสู้ออนไลน์หลายผู้เล่นหลายคน (MOBA) ขนาดใหญ่ในมุมมองบุคคลที่ 3 เช่น League of Legends, Dota 2 และ Heroes of the Storm โดยใช้อินพุตเดียวกันกับผู้เล่นที่เป็นมนุษย์ ซึ่งก็คือวิสัยทัศน์ เนื่องจาก League of Legends ไม่มีอินเทอร์เฟซสำหรับเกม จึงมีการใช้การตรวจจับวัตถุ ในโปรเจ็กต์นี้ ได้มีการแนะนำการใช้งาน Python ของเครื่องตรวจจับวัตถุ Yolo v3 และวิธีการสุ่มสร้างข้อมูลการฝึกจำนวนอนันต์

การตรวจจับวัตถุ

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับเครื่องตรวจจับวัตถุ โปรดดูรายงานทางเทคนิคของฉันที่: https://arxiv.org/abs/1905.13546 หรือไปที่เว็บไซต์ YOLOv3 โดยตรง [2]

การติดตั้ง/การใช้งาน

สิ่งที่ต้องทำ

ชุดข้อมูล LeagueAI

การสร้างชุดข้อมูลขนาดใหญ่ตั้งแต่เริ่มต้นอาจเป็นงานที่เข้มข้นมาก สำหรับการใช้งานครั้งแรกของ LeageAI มีการใช้รูปภาพที่มีป้ายกำกับด้วยมือประมาณ 700 ภาพ การติดป้ายกำกับรูปภาพ 700 รูปใช้เวลาประมาณ 4 วันและมีวัตถุในเกมเพียง 4 ชิ้นเท่านั้น (โมเดลแชมเปี้ยน 1 แบบ สมุนพันธมิตรและศัตรู และหอคอยศัตรู) ดังนั้นชุดข้อมูลใหม่จึงถูกสร้างขึ้นโดยการสร้างข้อมูลการฝึกอบรมโดยอัตโนมัติตามโมเดล 3 มิติที่ดึงมาจากเกม

1. การได้รับโมเดลแชมเปี้ยนและสมุนจากโมเดล 3 มิติ เพื่อให้ได้ข้อมูลภาพ ฉันใช้โปรแกรมดูโมเดล League of Legends ออนไลน์จาก https://teemo.gg/model-viewer สำหรับแต่ละวัตถุในเกมและแต่ละแอนิเมชั่น ฉันบันทึกคลิปวิดีโอสั้น ๆ ขณะหมุนโมเดล 3 มิติ ต่อไป ฉันใช้สคริปต์ pyFrameExporter.py เพื่อแยกรูปภาพแต่ละรูปออกจากคลิป สำหรับมินเนี่ยน ฉันใช้ Adobe After Effects เพื่อเพิ่มพื้นหลังสีเขียวให้กับวิดีโอของมินเนี่ยนและหอคอย (วัตถุทั้งหมดที่ฉันไม่พบโมเดล 3 มิติ) สำหรับแต่ละเฟรมที่ส่งออกออบเจ็กต์ ฉันใช้สคริปต์ pyExportTransparentPNG.py สคริปต์จะลบพื้นหลังสีเขียว/สีม่วงออกจากภาพหน้าจอแต่ละภาพ และทิ้ง PNG ของวัตถุที่มาสก์ไว้ให้คุณ นอกจากนี้ สคริปต์จะครอบตัดรูปภาพไปยังเนื้อหาและลบพื้นที่มองเห็นส่วนเกินออก

สิ่งนี้ทำให้ฉันมีภาพมาสก์ประมาณ 1,000 ภาพของแต่ละวัตถุที่สามารถนำมาใช้เพื่อสร้างภาพหน้าจอปลอมที่มีป้ายกำกับของเกมได้ในภายหลัง

2. การรวมภาพที่มาสก์และครอบตัดเข้ากับพื้นหลังเกม เพื่อสร้างข้อมูลการฝึกจำนวนมากที่ครอบคลุมทุกภูมิภาคของแผนที่เกม ฉันได้สร้างชุดภาพหน้าจอ 200 ภาพจากทั่วแผนที่โดยใช้สคริปต์ส่งออกเฟรม จากนั้นภาพที่มาสก์และครอบตัดจากขั้นตอนที่ 1 จะถูกรวมเข้ากับภาพหน้าจอแผนที่แบบสุ่มโดยใช้สคริปต์ bootstrap.py เนื่องจากรูปภาพถูกวางโดยใช้สคริปต์ จึงเป็นไปได้ที่จะรับตำแหน่งของวัตถุในภาพ และสร้างป้ายกำกับให้โดยอัตโนมัติ

หากต้องการสร้างภาพหน้าจอที่หลากหลาย สคริปต์สามารถปรับเป็น:

• เปลี่ยนจำนวนแชมเปี้ยน มินเนี่ยน และวัตถุอื่นๆ แบบสุ่ม
• สุ่มเพิ่มเคอร์เซอร์จำนวนหนึ่ง
• สุ่มเพิ่มเกม HUD ลงในภาพหน้าจอ
• สุ่มปรับขนาดวัตถุทั้งหมด
• รวมกลุ่มมินเนี่ยนเพื่อสร้างกลุ่มมินเนี่ยนต่อสู้ที่สมจริงยิ่งขึ้น
• ใช้การเบลอแบบเกาส์เซียนและสัญญาณรบกวนแบบสุ่มกับภาพ

เมื่อใช้วิธีการนี้ ชุดข้อมูลของภาพหน้าจอปลอมที่มีป้ายกำกับต่างๆ นับพันรายการสามารถสร้างขึ้นได้ภายในเวลาไม่กี่ชั่วโมง

คำอธิบายแบบเต็มของกระบวนการสร้างชุดข้อมูลและการประเมินเมื่อเปรียบเทียบกับข้อมูลที่กำกับด้วยมือมีอยู่ในเอกสารเผยแพร่ต่อไปนี้: https://arxiv.org/pdf/1905.13546.pdf

หากต้องการอ้างอิงโปรดใช้:

 @article{leagueaidatasetgeneration,
  title={LeagueAI: Improving object detector performance and flexibility through automatically generated training data and domain randomization},
  author={Struckmeier, Oliver},
  journal = {arXiv},
  year={2019}
}

การดึงข้อมูลด้านสุขภาพ

สิ่งที่ต้องทำ

แหล่งที่มา

[1] การใช้การตรวจจับวัตถุ Yolov3 ตั้งแต่เริ่มต้น: https://github.com/ayooshkathuria/YOLO_v3_tutorial_from_scratch

[2] สำหรับการฝึกอบรม: https://pjreddie.com/darknet/yolo/, Yolov3: การปรับปรุงที่เพิ่มขึ้น, J. Redmond และ A. Farhadi, 2018