phillip

ฟิลลิป เอไอ

ผู้เล่น SSBM ที่ใช้การเรียนรู้การเสริมกำลังเชิงลึก

หมายเหตุ: โปรเจ็กต์นี้ไม่ได้ใช้งานอีกต่อไปและอาจเกิดบิตเน่าได้ มีโปรเจ็กต์ที่สืบทอดมาจากการเรียนรู้การเลียนแบบจากการเล่นซ้ำ Slippi ที่ https://github.com/vladfi1/lippi-ai

ความต้องการ

ทดสอบบน: Ubuntu >=14.04, OSX, Windows 7/8/10

1. เครื่องจำลองปลาโลมา คุณอาจต้องคอมไพล์จากแหล่งที่มาบน Linux บน Windows คุณจะต้องติดตั้งเวอร์ชัน Dolphin แบบกำหนดเอง - เพียงแตกไฟล์ zip ที่ไหนสักแห่ง
2. อิมเมจ ISO SSBM คุณจะต้องมี NTSC 1.02
3. Python 3 บน Windows คุณสามารถใช้ Anaconda ซึ่งตั้งค่าเส้นทางที่จำเป็น คุณยังสามารถใช้ระบบย่อย linux บน Windows 10 ได้
4. ติดตั้งฟิลลิป. คุณสามารถดาวน์โหลดและแตกไฟล์ zip หรือโคลนพื้นที่เก็บข้อมูลนี้ได้ จากนั้นจากรูทฟิลลิป ให้รัน pip install -e . -
5. ตัวแทนที่ได้รับการฝึกอบรมบางรายจะรวมอยู่ในไดเร็กทอรี agents ตัวแทนที่ผ่านการฝึกอบรมครบชุดมีอยู่ที่นี่

เล่น

คุณจะต้องรู้ว่าปลาโลมาอยู่ที่ไหน บน Mac เส้นทางของปลาโลมาจะเป็น /Applications/Dolphin.app/Contents/MacOS/Dolphin หาก dolphin-emu อยู่บน PATH ของคุณแล้ว คุณสามารถละเว้นสิ่งนี้ได้

 python3 phillip/run.py --gui --human --start 0 --reload 0 --epsilon 0 --load agents/FalconFalconBF --iso /path/to/SSBM.iso --exe /path/to/dolphin [--windows]

ตัวแทนที่ได้รับการฝึกอบรมจะถูกจัดเก็บไว้ในไดเร็กทอรี agents นอกเหนือจาก FalconFalconBF แล้ว เอเจนต์ใน agents/delay0/ ก็ค่อนข้างแข็งแกร่งเช่นกัน รันด้วย --help เพื่อดูตัวเลือกทั้งหมด เอเจนต์ที่เหมือนมนุษย์ที่ดีที่สุดคือ delay18/FalcoBF ซึ่งมีอยู่ในไฟล์ ZIP ของ Google Drive

หมายเหตุของ Windows

• --exe จะเป็นเส้นทางไปยัง Binaryx64Dolphin.exe ที่คุณคลายซิป โดยทั่วไปแล้ว การส่งต่อ / s ควรอยู่ด้านหลัง s สำหรับทุกพาธ เว้นแต่ว่าคุณกำลังใช้ MinGW, Cygwin, git bash หรือโปรแกรมจำลองเชลล์ยูนิกซ์อื่น ๆ
• คุณอาจต้องละ 3 คำสั่งดังกล่าวออกจากคำสั่งเช่น python3 และ pip3
• หากไม่ได้ใช้ Anaconda คุณอาจต้องแก้ไข PATH เพื่อให้มองเห็น Python ได้จากพร้อมท์คำสั่ง
• การสื่อสารกับโลมาทำได้ผ่านอินเทอร์เฟซลูปแบ็คในเครื่อง ซึ่งเปิดใช้งานด้วยแฟล็ก --tcp 1 (ตอนนี้บอกเป็นนัยโดย --windows ) คุณอาจต้องเปิดพอร์ต 5555 ในไฟร์วอลล์ของคุณ
• หากบน Windows 10 คุณสามารถทำทุกอย่างในระบบย่อย Linux และทำตามคำแนะนำของ linux ยกเว้นการรับปลาโลมา คุณจะต้องส่งผ่านไดเร็กทอรีผู้ใช้ที่ชัดเจนด้วย --user tmp (ไดเร็กทอรีชั่วคราวที่ python สร้างขึ้นเริ่มต้นด้วย /tmp/... และไม่สามารถใช้กับ windows Dolphin)

รถไฟ

ควบคุมการฝึกอบรมโดย phillip/train.py ดูเพิ่มเติมที่ runner.py และ launcher.py สำหรับการฝึกแบบขนานจำนวนมากบนกลุ่มสเลม ฟิลลิปได้รับการฝึกอบรมที่ MGHPCC ขอแนะนำให้ฝึกกับโลมาแบบกำหนดเองซึ่งใช้ zmq เพื่อซิงโครไนซ์กับ AI - มิฉะนั้นคำสั่งด้านล่างอาจล้มเหลว

การฝึกอบรมในท้องถิ่นก็เป็นไปได้เช่นกัน ขั้นแรก แก้ไข runner.py ด้วยพารามิเตอร์การฝึกที่คุณต้องการ (ขั้นสูง) จากนั้นทำ:

 python3 runner.py # will output a path
python3 launcher.py saves/path/ --init --local [--agents number_of_agents] [--log_agents]

หากต้องการดูสถิติระหว่างการฝึก:

 tensorboard --logdir logs/

ผู้ฝึกสอนและตัวแทน (เป็นทางเลือก) เปลี่ยนเส้นทาง stdout/err ไปที่ slurm_logs/ หากต้องการสิ้นสุดการฝึกอบรม:

 kill $(cat saves/path/pids)

หากต้องการฝึกต่อ ให้รัน launcher.py อีกครั้ง แต่ไม่ต้องใส่ --init (มันจะเขียนทับเครือข่ายเก่าของคุณ)

ไม่รองรับการฝึกอบรมบน Windows

ขอบคุณ microsoftv ที่ตอนนี้มีวิดีโอแนะนำเช่นกัน!

สนับสนุน

มาที่ดิสคอร์ด!

การบันทึก

ฉันได้สตรีมการฝึกซ้อมการเล่นที่ http://twitch.tv/x_pilot นอกจากนี้ยังมีการบันทึกบางส่วนในช่อง YouTube ของฉัน

เครดิต

ขอบคุณมากสำหรับ altf4 ที่ทำให้ฉันเริ่มต้นและสำหรับ spxtr สำหรับผู้เฝ้าดูหน่วยความจำหลาม โค้ดบางส่วนสำหรับการโต้ตอบกับโลมาถูกยืมมาจากทั้งสองโปรเจ็กต์ (ส่วนใหญ่เป็นอันหลังตอนนี้ที่ฉันเปลี่ยนมาใช้ python บริสุทธิ์)