osrs hiscores

Osrs-Hiscores

Analisis kuantitatif dari runescape sekolah tua Hiscores.

Repositori ini menyumbang yang berikut:

1. Kode untuk Menggesek Web OSRS Hiscores, bersama dengan dataset yang dihasilkan.
2. Kode untuk pipa pembelajaran mesin yang mengelompokkan populasi pemain dengan kesamaan akun.
3. Aplikasi web interaktif untuk memvisualisasikan hasil pemain.

Dataset terdiri dari file -file berikut:

1. player-stats.csv : Tingkat keterampilan di semua 23 keterampilan untuk 2 juta akun OSRS teratas.
2. cluster-centroids.csv : Nilai pusat untuk cluster yang muncul dari mempartisi dataset pemain ke dalam grup berdasarkan kesamaan akun. Setiap centroid adalah vektor nilai antara 1-99 dalam ruang "keterampilan OSRS".
3. player-clusters.csv : ID cluster per pemain untuk tiga run clustering terpisah, mengelompokkan akun serupa dengan melihat (i) semua keterampilan, (ii) hanya keterampilan tempur dan (iii) hanya keterampilan non-tempur.
4. player-stats-raw.csv : peringkat, level, xp, petunjuk, minigame dan statistik bos untuk 2 juta pemain OSRS teratas. File ini adalah output mentah dari proses pengikis (1,7 GB).

File -file ini tidak diperiksa ke repo karena kendala ukuran file. Mereka dapat diunduh secara terpisah dari Google Drive: https://bit.ly/osrs-hiscores-dataset

Statistik pemain dikumpulkan dari Hiscores OSRS resmi selama 24 jam pada 21 Juli 2022.

Organisasi Proyek

 ├── LICENSE
├── Makefile         <- Top-level Makefile for building and running project.
├── README.md        <- The top-level README for developers using this project.
│
├── app              <- Application code and assets.
├── bin              <- Utility executables.
│
├── data
│   ├── final        <- The final, canonical data set.
│   ├── interim      <- Intermediate data that has been transformed.
│   └── raw          <- The original, immutable data dump.
│
├── ref              <- Reference files used in data processing.
├── scripts          <- Scripts for the stages of the data processing pipeline.
│
├── src
│   ├── analysis     <- Data science and analytics.
│   └── scrape       <- Scraping hiscores data.
│
├── test             <- Unit tests.
│
├── Procfile         <- Entry point for deployment as a Heroku application.
├── requirements.txt <- Dependencies file for reproducing the project environment.
├── runapp.py        <- Main script for Dash application.
└── setup.py         <- Setup file for installing this project through pip.

Penggunaan

Pada tingkat tinggi, repositori ini mengimplementasikan pipa ilmu data:

 scrape OSRS hiscores data
         ↓
cluster players by stats
         ↓
project clusters to 3D
         ↓
build application data

bersama dengan aplikasi DASH untuk memvisualisasikan hasil.

Tahap pipa data didorong oleh makefile dengan make level atas untuk setiap tahap pemrosesan:

1. make init : Mengatur lingkungan proyek dan menginstal dependensi.
2. make scrape : Mengikis data dari Hiscores OSR resmi dan berubah menjadi dataset yang dibersihkan.
3. make cluster : cluster pemain ke dalam kelompok akun serupa sesuai dengan statistik mereka. Menggunakan K-Means sebagai algoritma pengelompokan, diimplementasikan oleh Perpustakaan FAISS.
4. make postprocess : Proyeksikan cluster centroid dari ruang dimensi tinggi ke 3D untuk keperluan visualisasi (UMAP adalah algoritma yang digunakan untuk pengurangan dimensi). Hitung kuartil untuk setiap cluster berdasarkan populasi pemain yang dikandungnya.
5. make build-app : Bangun Data Aplikasi dan Basis Data menggunakan semua hasil analitik sebelumnya. Target ini akan meluncurkan instance MongoDB di dalam wadah Docker di URL localhost:27017 (secara default).

Langkah 2 dan 3 dapat (dan harus) dilewati hanya dengan menjalankan make download-dataset , yang mengambil data yang dikikis dan hasil pengelompokan dari ember S3. Ini membutuhkan akun AWS dengan kredensial yang terletak di direktori ~/.aws .

Untuk meluncurkan aplikasi, jalankan make run-app dan kunjungi URL localhost:8050 di browser web.

Aplikasi akhir dapat dibangun dan dijalankan dalam satu bidikan melalui make app , yang menggunakan data yang diunduh daripada mengikis dan mengelompokkan data dari awal. Target make all adalah apa yang digunakan untuk membangun hasil akhir untuk repo ini. Jika mengikis data, perhatikan bahwa penggunaan API Hiscores yang tinggi dapat mengakibatkan IP Anda diblokir. Harap hemat dan menghormati sumber daya server Jagex dalam penggunaan kode ini.

Jalankan make help untuk melihat lebih banyak target tingkat atas.

Konfigurasi

Sejumlah variabel lingkungan diatur untuk mengkonfigurasi aplikasi.

• OSRS_APPDATA_URI : jalur ke data aplikasi .pkl file (S3 atau lokal)
• OSRS_MONGO_URI : url di mana instance mongodb berjalan
• OSRS_MONGO_COLL : menyimpan/mengambil data pemain dari pengumpulan dengan nama ini

Ada juga variabel lingkungan yang mendefinisikan nama file pada setiap tahap pipa data.

Default untuk semua variabel lingkungan didefinisikan dalam .env.default dan diimpor setiap kali target make dijalankan. Jika ada file yang disebut .env , pengaturan apa pun di sana akan mengesampingkan yang ada di .env.default .

Dependensi

• Python 3.9 atau lebih besar (unduh di sini)
• Docker (unduh di sini)
• Akun AWS dengan kredensial yang diinstal di direktori ~/.aws (Buat akun di sini)

Metode

• Data dikikis untuk 2 juta pemain teratas di Hiscores OSRS. Data terdiri dari XP, peringkat, dan level dalam setiap keterampilan OSRS dan secara keseluruhan, bersama dengan statistik peringkat dan skor untuk gulungan petunjuk, minigame, dan bos.
• Data akun dideduplikasi, diurutkan, dan disesuaikan hanya untuk menjaga kolom tingkat keterampilan saja. Setelah deduplikasi, catatan 1999625 tetap. Setiap catatan adalah vektor panjang-23 yang memberikan level akun dalam keterampilan 23 OSRS.
• Akun disegmentasi menjadi 2000 cluster berdasarkan kesamaan keterampilan untuk tiga set kolom fitur yang berbeda, atau dataset 'splits':
  • all : Semua 23 Keterampilan OSRS
  • cb : 7 Keterampilan Tempur
  • noncb : 16 keterampilan non-tempur
• Untuk setiap perpecahan dataset, clustering menghasilkan satu set 2000 cluster centroid (dengan dimensionalitas 23, 7 atau 16) dan ID cluster yang terkait dengan masing -masing pemain. Clustering dilakukan dengan implementasi standar K-means menggunakan jarak L2.
• Centroid cluster diproyeksikan dari dimensi ambient mereka ke ruang 3D menggunakan UMAP. Parameter UMAP n_neighbors=10 dan min_dist=0.25 digunakan untuk pemisahan all dan noncb ; n_neighbors=20 dan min_dist=0.25 digunakan untuk cb split.
• Kuartil (persentil 0, 25, 50, 75 dan 100) dalam setiap keterampilan dihitung dengan menggabungkan akun milik masing -masing cluster.
• Hasil pengelompokan dirakit menjadi file data serial. Statistik pemain ditulis ke database untuk memberikan pencarian hasil cepat. Aplikasi akhir memanfaatkan kedua sumber ini.

Ide Proyek

Berikut adalah beberapa ide untuk proyek sains data.

• Jalankan analisis yang sama di OSRS Ironman Hiscores.
• Buat metode untuk mengidentifikasi cluster bot dalam dataset.
• Lihat seberapa baik Anda dapat memprediksi satu keterampilan yang tidak diketahui mengingat semua keterampilan lain untuk suatu akun. Apakah lebih mudah untuk beberapa keterampilan daripada yang lain, dan dapatkah ini dijelaskan dalam hal meta permainan?
• Lakukan pengelompokan hierarkis untuk mengidentifikasi kluster super atau mencari struktur berbutir halus dalam kelompok. Anotasi kelompok -kelompok ini akan menjadi langkah menuju taksonomi yang sebenarnya dari akun OSRS.
• Buat alat pencarian terbalik yang, diberi nama pengguna, menemukan akun lain dengan statistik yang sama.