osrs hiscores

OSRS-Hiscores

Un análisis cuantitativo de la vieja escuela Runescape Hiscores.

Este repositorio aporta lo siguiente:

1. Código para raspar la web de los OSRS Hiscores, junto con el conjunto de datos resultante.
2. Código para una tubería de aprendizaje automático que agrupa a la población de jugadores por similitud de cuenta.
3. Una aplicación web interactiva para visualizar los resultados del jugador.

El conjunto de datos consta de los siguientes archivos:

1. player-stats.csv : niveles de habilidad en las 23 habilidades para los 2 millones de cuentas OSRS principales.
2. cluster-centroids.csv : valores centrales para clústeres que emergen de dividir el conjunto de datos de jugadores en grupos basados ​​en la similitud de la cuenta. Cada centroide es un vector de valores entre 1-99 en el espacio de "habilidad OSRS".
3. player-clusters.csv : IDS de clúster por jugador para tres corridas de agrupación separadas, agrupando cuentas similares mirando (i) todas las habilidades, (ii) habilidades de combate solamente y (iii) habilidades sin combate solamente.
4. player-stats-raw.csv : rango, nivel, XP, pistas, minijuego y estadísticas de jefe para los 2 millones de jugadores de OSRS principales. Este archivo es la salida sin procesar del proceso de raspado (1.7 GB).

Estos archivos no se registran en el repositorio debido a restricciones de tamaño de archivo. Se pueden descargar por separado de Google Drive: https://bit.ly/osrs-hiscores-dataset

Las estadísticas de los jugadores fueron recolectadas de los OSRS oficiales de HISCORES durante un período de 24 horas el 21 de julio de 2022.

Organización de proyectos

 ├── LICENSE
├── Makefile         <- Top-level Makefile for building and running project.
├── README.md        <- The top-level README for developers using this project.
│
├── app              <- Application code and assets.
├── bin              <- Utility executables.
│
├── data
│   ├── final        <- The final, canonical data set.
│   ├── interim      <- Intermediate data that has been transformed.
│   └── raw          <- The original, immutable data dump.
│
├── ref              <- Reference files used in data processing.
├── scripts          <- Scripts for the stages of the data processing pipeline.
│
├── src
│   ├── analysis     <- Data science and analytics.
│   └── scrape       <- Scraping hiscores data.
│
├── test             <- Unit tests.
│
├── Procfile         <- Entry point for deployment as a Heroku application.
├── requirements.txt <- Dependencies file for reproducing the project environment.
├── runapp.py        <- Main script for Dash application.
└── setup.py         <- Setup file for installing this project through pip.

Uso

En un alto nivel, este repositorio implementa una tubería de ciencia de datos:

 scrape OSRS hiscores data
         ↓
cluster players by stats
         ↓
project clusters to 3D
         ↓
build application data

junto con una aplicación DASH para visualizar los resultados.

Las etapas de la tubería de datos son impulsadas por un archivo de make con objetivos make de nivel superior para cada etapa de procesamiento:

1. make init : Configure el entorno del proyecto e instale dependencias.
2. make scrape : raspar los datos del OSRS oficial HISCORE y transformarse en un conjunto de datos limpio.
3. make cluster : clúster jugadores en grupos de cuentas similares según sus estadísticas. Utiliza k-means como algoritmo de agrupación, implementado por la biblioteca FAISS.
4. make postprocess : proyecte los centroides de clúster desde el espacio de alta dimensión hasta 3D para fines de visualización (UMAP es el algoritmo utilizado para la reducción de dimensionalidad). Calcule los cuartiles para cada clúster basado en la población de jugadores que contiene.
5. make build-app : cree datos de aplicaciones y base de datos utilizando todos los resultados analíticos anteriores. Este objetivo lanzará una instancia de MongoDB dentro de un contenedor Docker en la URL localhost:27017 (por defecto).

Los pasos 2 y 3 pueden (y deben) omitirse simplemente ejecutando make download-dataset , que obtiene los datos raspados y los resultados de agrupación de un cubo S3. Esto requiere una cuenta de AWS con credenciales ubicadas en el directorio ~/.aws .

Para iniciar la aplicación, ejecute make run-app y visite la URL localhost:8050 en un navegador web.

La aplicación final se puede construir y ejecutar en una toma a través de make app , que utiliza datos descargados en lugar de raspar y agrupar los datos desde cero. El objetivo make all es lo que se usó para construir los resultados finales para este repositorio. Si raspan datos, tenga en cuenta que el alto uso de la API HISCORE puede resultar en que su IP se bloquee. Asegura y respetan los recursos del servidor de Jagex en su uso de este código.

Ejecutar make help para ver más objetivos de nivel superior.

Configuración

Se establecen varias variables de entorno para configurar la aplicación.

• OSRS_APPDATA_URI : Ruta a los datos de la aplicación .pkl archivo (S3 o local)
• OSRS_MONGO_URI : URL en la que se está ejecutando la instancia de MongoDB
• OSRS_MONGO_COLL : almacene/recupere los datos del reproductor de la recopilación con este nombre

También hay variables de entorno que definen nombres de archivo en cada etapa de la tubería de datos.

Los valores predeterminados para todas las variables de entorno se definen en .env.default e importan cada vez que se ejecuta un objetivo make . Si existe un archivo llamado .env , cualquier configuración allí anulará a las de .env.default .

Dependencias

• Python 3.9 o más (descargue aquí)
• Docker (descargar aquí)
• Cuenta AWS con credenciales instaladas en el directorio ~/.aws (cree una cuenta aquí)

Métodos

• Los datos fueron raspados para los 2 millones de jugadores principales en el OSRS Hiscores. Los datos consisten en XP, rango y nivel en cada habilidad de OSRS y en general, junto con estadísticas de rango y puntaje para pergaminos, minijuegos y jefes.
• Los datos de la cuenta fueron deduplicados, ordenados y submuestreados para mantener columnas de nivel de habilidad solamente. Después de la deduplicación, los registros de 1999625 permanecieron. Cada récord es un vector de longitud-23 que da los niveles de una cuenta en las 23 habilidades de OSRS.
• Las cuentas se segmentaron en 2000 grupos basados ​​en la similitud de las habilidades para tres conjuntos diferentes de columnas de características, o 'divisiones' del conjunto de datos:
  • all : las 23 habilidades de OSRS
  • cb : las 7 habilidades de combate
  • noncb : las 16 habilidades que no son de combate
• Para cada división del conjunto de datos, la agrupación produjo un conjunto de 2000 centroides de clúster (con dimensionalidad 23, 7 o 16) y una ID de clúster asociada con cada reproductor. La agrupación se realizó con una implementación estándar de K-means utilizando la distancia L2.
• Los centroides de clúster se proyectaron desde su dimensionalidad ambiental hasta el espacio 3D usando UMAP. Los parámetros UMAP n_neighbors=10 y min_dist=0.25 se usaron para divisiones all y noncb ; n_neighbors=20 y min_dist=0.25 se usaron para Split cb .
• Los cuartiles (los percentiles 0, 25, 50, 75 y 100) en cada habilidad se calcularon agregando las cuentas que pertenecen a cada clúster.
• Los resultados de la agrupación se ensamblaron en un archivo de datos serializado. Las estadísticas de los jugadores se escribieron en una base de datos para proporcionar búsquedas de resultados rápidos. La aplicación final hace uso de estos dos recursos.

Ideas de proyectos

Aquí hay algunas ideas para proyectos de ciencia de datos.

• Ejecute el mismo análisis en el OSRS Ironman Hiscores.
• Cree un método para identificar grupos BOT dentro del conjunto de datos.
• Vea qué tan bien puede predecir una habilidad desconocida dada todas las demás habilidades para una cuenta. ¿Es más fácil para algunas habilidades que otras, y se puede explicar esto en términos del meta del juego?
• Realice la agrupación jerárquica para identificar súper clústeres o buscar una estructura de grano fino dentro de los grupos. La anotación de estos grupos sería un paso hacia una verdadera taxonomía de las cuentas de OSRS.
• Cree una herramienta de búsqueda inversa que, dado un nombre de usuario, encuentre otras cuentas con estadísticas similares.