osrs hiscores

OSRS-Hiscores

Une analyse quantitative de la vieille école runescape Hiscores.

Ce référentiel contribue les éléments suivants:

1. Code pour le tracotage Web des Hiscore OSRS, ainsi que l'ensemble de données résultant.
2. Code d'un pipeline d'apprentissage automatique qui clusters la population des joueurs par la similitude des comptes.
3. Une application Web interactive pour visualiser les résultats des joueurs.

L'ensemble de données se compose des fichiers suivants:

1. player-stats.csv : niveaux de compétence dans les 23 compétences pour les 2 millions de comptes OSR.
2. cluster-centroids.csv : valeurs centrales pour les clusters qui émergent du jeu de données de partitionnement en groupes en fonction de la similitude du compte. Chaque centroïde est un vecteur de valeurs comprise entre 1 et 99 dans l'espace "OSRS compétence".
3. player-clusters.csv : ID de cluster par joueur pour trois courses de clustering distinctes, regroupant des comptes similaires en examinant (i) toutes les compétences, (ii) les compétences de combat uniquement et (iii) les compétences non combat.
4. player-stats-raw.csv : Rank, niveau, XP, Clues, mini-jeu et statistiques de boss pour les 2 millions de joueurs OSRS. Ce fichier est la sortie brute du processus de grattage (1,7 Go).

Ces fichiers ne sont pas vérifiés dans le dépôt en raison des contraintes de taille de fichier. Ils peuvent être téléchargés séparément de Google Drive: https://bit.ly/osrs-hiscores-dataset

Les statistiques des joueurs ont été collectées auprès des OSR officiels Hiscores sur une période de 24 heures le 21 juillet 2022.

Organisation de projet

 ├── LICENSE
├── Makefile         <- Top-level Makefile for building and running project.
├── README.md        <- The top-level README for developers using this project.
│
├── app              <- Application code and assets.
├── bin              <- Utility executables.
│
├── data
│   ├── final        <- The final, canonical data set.
│   ├── interim      <- Intermediate data that has been transformed.
│   └── raw          <- The original, immutable data dump.
│
├── ref              <- Reference files used in data processing.
├── scripts          <- Scripts for the stages of the data processing pipeline.
│
├── src
│   ├── analysis     <- Data science and analytics.
│   └── scrape       <- Scraping hiscores data.
│
├── test             <- Unit tests.
│
├── Procfile         <- Entry point for deployment as a Heroku application.
├── requirements.txt <- Dependencies file for reproducing the project environment.
├── runapp.py        <- Main script for Dash application.
└── setup.py         <- Setup file for installing this project through pip.

Usage

À un niveau élevé, ce référentiel met en œuvre un pipeline de science des données:

 scrape OSRS hiscores data
         ↓
cluster players by stats
         ↓
project clusters to 3D
         ↓
build application data

ainsi qu'une application Dash pour visualiser les résultats.

Les étapes du pipeline de données sont entraînées par un makefile avec make cibles de niveau supérieur pour chaque étape de traitement:

1. make init : configurer l'environnement du projet et installer les dépendances.
2. make scrape : grattez les données des OSR officiels Hiscores et transformez-vous en un ensemble de données nettoyé.
3. make cluster : regroupant les joueurs en groupes de comptes similaires en fonction de leurs statistiques. Utilise K-Means comme algorithme de clustering, implémenté par la bibliothèque FAISS.
4. make postprocess : projeter les centroïdes de cluster de l'espace de haute dimension à la 3D à des fins de visualisation (l'UMAP est l'algorithme utilisé pour la réduction de la dimensionnalité). Calculez des quartiles pour chaque cluster en fonction de la population de joueurs qu'il contient.
5. make build-app : Build Données et base de données d'application à l'aide de tous les résultats analytiques précédents. Cet objectif lancera une instance MongoDB dans un conteneur Docker sur l'URL localhost:27017 (par défaut).

Les étapes 2 et 3 peuvent (et devraient) être ignorées en exécutant simplement make download-dataset , qui récupère les données grattées et les résultats de clustering d'un seau S3. Cela nécessite un compte AWS avec des informations d'identification situées dans le répertoire ~/.aws .

Pour lancer l'application, exécutez make run-app et visitez l'URL localhost:8050 dans un navigateur Web.

L'application finale peut être construite et exécutée en une seule photo via make app , qui utilise des données téléchargées plutôt que de gratter et de regrouper les données à partir de zéro. La cible make all est ce qui a été utilisé pour construire les résultats finaux de ce dépôt. Si le grattage des données, notez qu'une utilisation élevée de l'API Hiscores peut entraîner le bloquer votre IP. Veuillez être épargné et respectueux des ressources du serveur de Jagex dans votre utilisation de ce code.

Exécutez make help pour voir plus de cibles de niveau supérieur.

Configuration

Un certain nombre de variables d'environnement sont définies afin de configurer l'application.

• OSRS_APPDATA_URI : Path vers les données d'application. Fichier .pkl (S3 ou local)
• OSRS_MONGO_URI : URL à laquelle l'instance MongoDB s'exécute
• OSRS_MONGO_COLL : Store / Récupérer les données des joueurs de la collecte avec ce nom

Il existe également des variables d'environnement définissant des noms de fichiers à chaque étape du pipeline de données.

Les valeurs par défaut pour toutes les variables d'environnement sont définies dans .env.default et importées chaque fois qu'une cible make est exécutée. Si un fichier appelé .env existe, tous les paramètres y seront remplacés dans .env.default .

Dépendances

• Python 3.9 ou plus (télécharger ici)
• Docker (télécharger ici)
• Compte AWS avec des informations d'identification installées dans le répertoire ~/.aws (Créer un compte ici)

Méthodes

• Les données ont été grattées pour les 2 millions de joueurs des Hiscore OSRS. Les données sont constituées de XP, de rang et de niveau dans chaque compétence OSRS et dans l'ensemble, ainsi que des statistiques de rang et de score pour les parchemins d'indices, les mini-jeux et les boss.
• Les données de compte ont été dédupliquées, triées et sous-échantillonnées pour conserver les colonnes de niveau de compétence uniquement. Après la déduplication, les dossiers de 1999625 sont restés. Chaque enregistrement est un vecteur longueur 23 donnant les niveaux d'un compte dans les 23 compétences OSRS.
• Les comptes ont été segmentés en grappes de 2000 en fonction de la similitude des compétences pour trois ensembles différents de colonnes de fonctionnalités, ou des «divisions» de l'ensemble de données:
  • all : tous les 23 compétences OSRS
  • cb : Les 7 compétences de combat
  • noncb : les 16 compétences non combat
• Pour chaque répartition de l'ensemble de données, le clustering a produit un ensemble de centroïdes de cluster 2000 (avec dimensionnalité 23, 7 ou 16) et un ID de cluster associé à chaque lecteur. Le clustering a été effectué avec une implémentation standard de k-means en utilisant la distance L2.
• Les centroïdes en grappes ont été projetés de leur dimensionnalité ambiante à l'espace 3D en utilisant UMAP. Les paramètres UMAP n_neighbors=10 et min_dist=0.25 ont été utilisés pour les all et noncb ; n_neighbors=20 et min_dist=0.25 ont été utilisés pour cb divisé.
• Les quartiles (les 0, 25, 50, 75 et 100e centiles) dans chaque compétence ont été calculés en agrégeant les comptes appartenant à chaque cluster.
• Les résultats de clustering ont été assemblés dans un fichier de données sérialisé. Les statistiques des joueurs ont été écrites dans une base de données pour fournir des recherches de résultats rapides. L'application finale utilise ces deux ressources.

Idées de projet

Voici quelques idées de projets de science des données.

• Exécutez la même analyse sur les Hiscores Ironman OSRS.
• Créez une méthode pour identifier les clusters de bot dans l'ensemble de données.
• Voyez comment vous pouvez bien prédire une compétence inconnue compte tenu de toutes les autres compétences pour un compte. Est-ce plus facile pour certaines compétences que d'autres, et cela peut-il être expliqué en termes de méta du jeu?
• Effectuez un clustering hiérarchique pour identifier les super-cluster ou rechercher une structure à grain fin dans les clusters. Annoter ces grappes serait une étape vers une véritable taxonomie des comptes OSRS.
• Créer un outil de recherche inversé qui, étant donné un nom d'utilisateur, trouve d'autres comptes avec des statistiques similaires.