osrs hiscores

OSRS-HISCORES

Uma análise quantitativa dos hiscores da velha escola.

Este repositório contribui com o seguinte:

1. Código para raspar os Hiscores OSRS, juntamente com o conjunto de dados resultante.
2. Código de um pipeline de aprendizado de máquina que agrupa a população de jogadores por similaridade da conta.
3. Um aplicativo interativo da Web para visualizar os resultados dos jogadores.

O conjunto de dados consiste nos seguintes arquivos:

1. player-stats.csv : níveis de habilidade em todas as 23 habilidades para as 2 milhões de contas do OSRS.
2. cluster-centroids.csv : valores centrais para clusters que emergem do conjunto de dados de participantes em grupos com base na similaridade da conta. Cada centróide é um vetor de valores entre 1-99 no espaço "OSRS Skill".
3. player-clusters.csv : IDs de cluster por jogador para três corridas de agrupamento separadas, agrupando contas semelhantes analisando (i) todas as habilidades, (ii) apenas habilidades de combate e apenas (iii) habilidades que não sejam de combate.
4. player-stats-raw.csv : rank, nível, xp, pistas, minijogo e estatísticas de chefe para os 2 milhões de jogadores do OSRS. Este arquivo é a saída bruta do processo de raspagem (1,7 GB).

Esses arquivos não são verificados no repositório devido a restrições de tamanho de arquivo. Eles podem ser baixados separadamente do Google Drive: https://bit.ly/osrs-hiscores-dataset

As estatísticas dos jogadores foram coletadas do OSRS oficial HISCORES por um período de 24 horas em 21 de julho de 2022.

Organização do projeto

 ├── LICENSE
├── Makefile         <- Top-level Makefile for building and running project.
├── README.md        <- The top-level README for developers using this project.
│
├── app              <- Application code and assets.
├── bin              <- Utility executables.
│
├── data
│   ├── final        <- The final, canonical data set.
│   ├── interim      <- Intermediate data that has been transformed.
│   └── raw          <- The original, immutable data dump.
│
├── ref              <- Reference files used in data processing.
├── scripts          <- Scripts for the stages of the data processing pipeline.
│
├── src
│   ├── analysis     <- Data science and analytics.
│   └── scrape       <- Scraping hiscores data.
│
├── test             <- Unit tests.
│
├── Procfile         <- Entry point for deployment as a Heroku application.
├── requirements.txt <- Dependencies file for reproducing the project environment.
├── runapp.py        <- Main script for Dash application.
└── setup.py         <- Setup file for installing this project through pip.

Uso

Em um nível alto, este repositório implementa um pipeline de ciência de dados:

 scrape OSRS hiscores data
         ↓
cluster players by stats
         ↓
project clusters to 3D
         ↓
build application data

junto com um aplicativo DASH para visualizar os resultados.

Os estágios do pipeline de dados são conduzidos por um Makefile com alvos make nível superior para cada estágio de processamento:

1. make init : configure o ambiente do projeto e instale dependências.
2. make scrape : raspe dados dos Hiscores OSRs oficiais e se transforme em um conjunto de dados limpo.
3. make cluster : os jogadores de cluster em grupos de contas semelhantes de acordo com suas estatísticas. Usa K-Means como o algoritmo de cluster, implementado pela Biblioteca FAISS.
4. make postprocess : projete os centróides do cluster do espaço de alta dimensão para 3D para fins de visualização (umap é o algoritmo usado para redução da dimensionalidade). Calcule os quartis para cada cluster com base na população de jogadores que ele contém.
5. make build-app : Build Data Application e o banco de dados usando todos os resultados analíticos anteriores. Esse destino iniciará uma instância do MongoDB dentro de um contêiner do Docker no URL localhost:27017 (por padrão).

As etapas 2 e 3 podem (e devem) ser ignoradas simplesmente executando make download-dataset , que busca os dados raspados e os resultados de cluster de um balde S3. Isso requer uma conta da AWS com credenciais localizadas no diretório ~/.aws .

Para iniciar o aplicativo, Run make run-app e visite o URL localhost:8050 em um navegador da Web.

O aplicativo final pode ser construído e executado em uma foto via make app , que usa dados baixados, em vez de raspar e agrupar os dados do zero. O alvo make all é o que foi usado para criar os resultados finais para este repositório. Se a eliminação de dados, observe que o alto uso da API HISCORES pode resultar no bloqueio do seu IP. Por favor, seja poupar e respeitar os recursos do servidor da Jagex no seu uso deste código.

Execute make help para ver mais alvos de nível superior.

Configuração

Várias variáveis ​​de ambiente são definidas para configurar o aplicativo.

• OSRS_APPDATA_URI : caminho para dados do aplicativo .pkl File (S3 ou local)
• OSRS_MONGO_URI : URL na qual a instância do MongoDB está executando
• OSRS_MONGO_COLL : armazenar/recuperar os dados do jogador da coleção com este nome

Também existem variáveis ​​de ambiente que definem nomes de arquivos em cada estágio do pipeline de dados.

Os padrões para todas as variáveis ​​de ambiente são definidos em .env.default e importados sempre que um alvo make é executado. Se existir um arquivo chamado .env , quaisquer configurações substituirão as no .env.default .

Dependências

• Python 3.9 ou mais (download aqui)
• Docker (download aqui)
• Conta da AWS com credenciais instaladas no diretório ~/.aws (Crie uma conta aqui)

Métodos

• Os dados foram raspados para os 2 principais milhões de jogadores do OSRS HISCORES. Os dados consistem em XP, classificação e nível em cada habilidade do OSRS e em geral, juntamente com estatísticas de classificação e pontuação para rolos, minijogos e chefes.
• Os dados da conta foram desduplicados, classificados e subamostrados para manter apenas as colunas do nível de habilidade. Após a desduplicação, os registros de 1999625 permaneceram. Cada registro é um vetor de comprimento-23, fornecendo os níveis de uma conta nas 23 habilidades do OSRS.
• As contas foram segmentadas em 2000 clusters com base na semelhança de habilidades para três conjuntos diferentes de colunas de recursos ou 'divisões' do conjunto de dados:
  • all : todas as 23 habilidades OSRs
  • cb : as 7 habilidades de combate
  • noncb : as 16 habilidades não-combat
• Para cada divisão do conjunto de dados, o agrupamento produziu um conjunto de 2000 centróides de cluster (com dimensionalidade 23, 7 ou 16) e um ID de cluster associado a cada jogador. O agrupamento foi realizado com uma implementação padrão de K-means usando a distância L2.
• Os centróides de cluster foram projetados de sua dimensionalidade ambiente até o espaço 3D usando UMAP. Parâmetros UMAP n_neighbors=10 e min_dist=0.25 foram usados ​​para divisões all e noncb ; n_neighbors=20 e min_dist=0.25 foram usados ​​para dividir cb .
• Os quartis (os percentis 0, 25, 50, 75 e 100º) em cada habilidade foram calculados pela agregação das contas pertencentes a cada cluster.
• Os resultados do cluster foram montados em um arquivo de dados serializado. As estatísticas dos jogadores foram gravadas em um banco de dados para fornecer pesquisas de resultados rápidos. O aplicativo final utiliza esses dois recursos.

Idéias de projeto

Aqui estão algumas idéias para projetos de ciência de dados.

• Execute a mesma análise nos hiscores do OSRS Ironman.
• Crie um método para identificar clusters de bot no conjunto de dados.
• Veja como você pode prever uma habilidade desconhecida, dada a todas as outras habilidades para uma conta. É mais fácil para algumas habilidades do que outras, e isso pode ser explicado em termos de meta do jogo?
• Execute o cluster hierárquico para identificar super-clusters ou procurar estrutura de granulação fina nos clusters. Anotar esses clusters seria um passo em direção a uma verdadeira taxonomia das contas do OSRS.
• Crie uma ferramenta de pesquisa reversa que, dada um nome de usuário, encontra outras contas com estatísticas semelhantes.