หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

osrs-hiscores

การวิเคราะห์เชิงปริมาณของโรงเรียนเก่า Runescape Hiscores

ที่เก็บนี้มีส่วนร่วมดังต่อไปนี้:

  1. รหัสสำหรับเว็บขูด HISCORES OSRS พร้อมกับชุดข้อมูลที่ได้
  2. รหัสสำหรับไปป์ไลน์การเรียนรู้ของเครื่องซึ่งเป็นกลุ่มประชากรผู้เล่นตามความคล้ายคลึงกันของบัญชี
  3. เว็บแอปพลิเคชันแบบโต้ตอบสำหรับการแสดงผลลัพธ์ของผู้เล่น

ชุดข้อมูลประกอบด้วยไฟล์ต่อไปนี้:

  1. player-stats.csv : ระดับทักษะในทักษะทั้งหมด 23 ทักษะสำหรับบัญชี OSR 2 ล้านอันดับแรก
  2. cluster-centroids.csv : ค่ากลางสำหรับกลุ่มที่เกิดขึ้นจากชุดข้อมูลผู้เล่นที่แบ่งพาร์ติชันเป็นกลุ่มตามความคล้ายคลึงกันของบัญชี แต่ละเซนทรอยด์เป็นเวกเตอร์ของค่าระหว่าง 1-99 ในพื้นที่ "ทักษะ OSRS"
  3. player-clusters.csv : ID คลัสเตอร์ต่อผู้เล่นสำหรับการวิ่งคลัสเตอร์สามแบบแยกกันจัดกลุ่มบัญชีที่คล้ายกันโดยดูที่ (i) ทักษะทั้งหมด (ii) ทักษะการต่อสู้เท่านั้นและ (iii) ทักษะที่ไม่ใช่การต่อสู้เท่านั้น
  4. player-stats-raw.csv : อันดับ, ระดับ, XP, เบาะแส, สถิติมินิเกมและบอสสำหรับผู้เล่น OSRS 2 ล้านอันดับแรก ไฟล์นี้เป็นเอาต์พุตดิบจากกระบวนการขูด (1.7 GB)

ไฟล์เหล่านี้ ไม่ได้ตรวจสอบใน repo เนื่องจากข้อ จำกัด ขนาดไฟล์ พวกเขาสามารถดาวน์โหลดแยกต่างหากจาก Google Drive: https://bit.ly/osrs-hiscores-dataset

สถิติผู้เล่นถูกรวบรวมจาก OSRS Hiscores อย่างเป็นทางการในช่วง 24 ชั่วโมงในวันที่ 21 กรกฎาคม 2565

องค์กรโครงการ 

 ├── LICENSE
├── Makefile         <- Top-level Makefile for building and running project.
├── README.md        <- The top-level README for developers using this project.
│
├── app              <- Application code and assets.
├── bin              <- Utility executables.
│
├── data
│   ├── final        <- The final, canonical data set.
│   ├── interim      <- Intermediate data that has been transformed.
│   └── raw          <- The original, immutable data dump.
│
├── ref              <- Reference files used in data processing.
├── scripts          <- Scripts for the stages of the data processing pipeline.
│
├── src
│   ├── analysis     <- Data science and analytics.
│   └── scrape       <- Scraping hiscores data.
│
├── test             <- Unit tests.
│
├── Procfile         <- Entry point for deployment as a Heroku application.
├── requirements.txt <- Dependencies file for reproducing the project environment.
├── runapp.py        <- Main script for Dash application.
└── setup.py         <- Setup file for installing this project through pip.

การใช้งาน

ในระดับสูงพื้นที่เก็บข้อมูลนี้ใช้ท่อส่งข้อมูลทางวิทยาศาสตร์: 

 scrape OSRS hiscores data
         ↓
cluster players by stats
         ↓
project clusters to 3D
         ↓
build application data

พร้อมกับแอปพลิเคชัน Dash สำหรับการแสดงผลลัพธ์

ขั้นตอนของไปป์ไลน์ข้อมูลถูกขับเคลื่อนด้วย makefile ที่มี make ระดับบนสุดสำหรับแต่ละขั้นตอนการประมวลผล:

  1. make init : ตั้งค่าสภาพแวดล้อมโครงการและติดตั้งการพึ่งพา
  2. make scrape : ขูดข้อมูลจาก OSRS อย่างเป็นทางการและเปลี่ยนเป็นชุดข้อมูลที่ทำความสะอาด
  3. make cluster : ผู้เล่นคลัสเตอร์เป็นกลุ่มของบัญชีที่คล้ายกันตามสถิติของพวกเขา ใช้ k-means เป็นอัลกอริทึมการจัดกลุ่มซึ่งดำเนินการโดยไลบรารี FAISS
  4. make postprocess : ฉายภาพกลุ่ม centroids จากพื้นที่มิติสูงถึง 3D เพื่อการสร้างภาพ (UMAP เป็นอัลกอริทึมที่ใช้สำหรับการลดขนาด) คำนวณควอไทล์สำหรับแต่ละคลัสเตอร์ตามประชากรผู้เล่นที่มี
  5. make build-app : สร้างข้อมูลแอปพลิเคชันและฐานข้อมูลโดยใช้ผลลัพธ์การวิเคราะห์ก่อนหน้าทั้งหมด เป้าหมายนี้จะเปิดตัวอินสแตนซ์ MongoDB ภายในคอนเทนเนอร์ Docker ที่ URL localhost:27017 (โดยค่าเริ่มต้น)

ขั้นตอนที่ 2 และ 3 สามารถ (และควร) ถูกข้ามโดยเพียงแค่เรียกใช้ make download-dataset ซึ่งดึงข้อมูลที่ถูกคัดค้านและผลลัพธ์การจัดกลุ่มจากถัง S3 สิ่งนี้ต้องใช้บัญชี AWS ที่มีข้อมูลประจำตัวที่อยู่ในไดเรกทอรี ~/.aws

ในการเปิดตัวแอปพลิเคชัน make run-app และเยี่ยมชม URL localhost:8050 ในเว็บเบราว์เซอร์

แอปพลิเคชั่นสุดท้ายสามารถสร้างและเรียกใช้ในการยิงเดียวผ่าน make app ซึ่งใช้ข้อมูลที่ดาวน์โหลดมากกว่าการขูดและจัดกลุ่มข้อมูลตั้งแต่เริ่มต้น เป้าหมาย make all เป็นสิ่งที่ใช้ในการสร้างผลลัพธ์สุดท้ายสำหรับ repo นี้ หากการขูดข้อมูลโปรดทราบว่าการใช้ HISCORES API สูงอาจส่งผลให้ IP ของคุณถูกบล็อก โปรดประหยัดและเคารพทรัพยากรเซิร์ฟเวอร์ของ Jagex ในการใช้รหัสนี้

เรียก make help ดูเป้าหมายระดับบนสุด

การกำหนดค่า

มีการตั้งค่าตัวแปรสภาพแวดล้อมจำนวนหนึ่งเพื่อกำหนดค่าแอปพลิเคชัน

  • OSRS_APPDATA_URI : พา ธ ไปยังแอปพลิเคชันข้อมูล. pkl ไฟล์ (S3 หรือ local)
  • OSRS_MONGO_URI : url ที่อินสแตนซ์ mongoDb กำลังทำงานอยู่
  • OSRS_MONGO_COLL : จัดเก็บ/ดึงข้อมูลผู้เล่นจากคอลเลกชันด้วยชื่อนี้

นอกจากนี้ยังมีตัวแปรสภาพแวดล้อมที่กำหนดชื่อไฟล์ในแต่ละขั้นตอนของไปป์ไลน์ข้อมูล

ค่าเริ่มต้นสำหรับตัวแปรสภาพแวดล้อมทั้งหมดถูกกำหนดใน .env.default และนำเข้าเมื่อใดก็ตามที่เป้าหมาย make เรียกใช้ หากไฟล์ที่เรียกว่า .env มีอยู่การตั้งค่าใด ๆ ที่มีจะแทนที่ไฟล์เหล่านั้นใน. .env.default

การพึ่งพาอาศัยกัน

  • Python 3.9 หรือมากกว่า (ดาวน์โหลดที่นี่)
  • Docker (ดาวน์โหลดที่นี่)
  • บัญชี AWS พร้อมข้อมูลรับรองที่ติดตั้งในไดเรกทอรี ~/.aws (สร้างบัญชีที่นี่)

วิธีการ

  • ข้อมูลถูกคัดลอกสำหรับผู้เล่น 2 ล้านอันดับแรกของ OSRS Hiscores ข้อมูลประกอบด้วย XP อันดับและระดับในแต่ละทักษะ OSRS และโดยรวมพร้อมกับสถิติอันดับและคะแนนสำหรับการเลื่อนเบาะแสมินิเกมและบอส
  • ข้อมูลบัญชีถูกหักสำรองการจัดเรียงและย่อยเพื่อรักษาคอลัมน์ระดับทักษะเท่านั้น หลังจากการซ้ำซ้อนปี 1999625 บันทึกยังคงอยู่ แต่ละบันทึกเป็นเวกเตอร์ความยาว 23 ที่ให้ระดับบัญชีใน 23 ทักษะ OSRS
  • บัญชีถูกแบ่งออกเป็น 2,000 กลุ่มตามความคล้ายคลึงกันของทักษะสำหรับคอลัมน์คุณสมบัติสามชุดหรือชุดข้อมูล 'แยก':
    • all : ทักษะทั้งหมด 23 OSRS ทั้งหมด
    • cb : ทักษะการต่อสู้ทั้ง 7
    • noncb : ทักษะที่ไม่ใช่การต่อสู้ 16 ครั้ง
  • สำหรับการแยกแต่ละชุดข้อมูลการทำคลัสเตอร์สร้างชุดของ centroids 2,000 คลัสเตอร์ (ที่มีมิติ 23, 7 หรือ 16) และ ID คลัสเตอร์ที่เกี่ยวข้องกับผู้เล่นแต่ละคน การจัดกลุ่มดำเนินการด้วยการใช้งานมาตรฐานของ K-mean โดยใช้ระยะทาง L2
  • centroids คลัสเตอร์ถูกฉายจากมิติโดยรอบไปยังพื้นที่ 3 มิติโดยใช้ UMAP พารามิเตอร์ UMAP n_neighbors=10 และ min_dist=0.25 ถูกใช้สำหรับแยก all และ noncb ; n_neighbors=20 และ min_dist=0.25 ถูกใช้สำหรับแยก cb
  • Quartiles (เปอร์เซ็นไทล์ 0, 25, 50, 75 และ 100) ในแต่ละทักษะถูกคำนวณโดยการรวบรวมบัญชีที่เป็นของแต่ละคลัสเตอร์
  • ผลลัพธ์การจัดกลุ่มถูกรวบรวมไว้ในไฟล์ข้อมูลที่เป็นอนุกรม สถิติผู้เล่นถูกเขียนลงในฐานข้อมูลเพื่อให้การค้นหาผลลัพธ์อย่างรวดเร็ว แอปพลิเคชันสุดท้ายใช้ทรัพยากรทั้งสองนี้

ไอเดียโครงการ

นี่คือแนวคิดบางประการสำหรับโครงการวิทยาศาสตร์ข้อมูล

  • เรียกใช้การวิเคราะห์เดียวกันกับ OSRS Ironman Hiscores
  • สร้างวิธีการระบุกลุ่มบอทภายในชุดข้อมูล
  • ดูว่าคุณสามารถทำนายทักษะที่ไม่รู้จักได้ดีแค่ไหนที่ได้รับทักษะอื่น ๆ ทั้งหมดสำหรับบัญชี ทักษะบางอย่างง่ายกว่าคนอื่น ๆ และสามารถอธิบายได้ในแง่ของเมตาเกมหรือไม่?
  • ดำเนินการจัดกลุ่มแบบลำดับชั้นเพื่อระบุ super-clusters หรือค้นหาโครงสร้างที่ละเอียดภายในกลุ่ม การใส่คำอธิบายประกอบกลุ่มเหล่านี้จะเป็นขั้นตอนสู่การจัดอนุกรมวิธานที่แท้จริงของบัญชี OSRS
  • สร้างเครื่องมือค้นหาย้อนกลับซึ่งให้ชื่อผู้ใช้พบบัญชีอื่น ๆ ที่มีสถิติคล้ายกัน
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด