osrs hiscores

OSRS-Hiscores

对旧派符号Hiscores的定量分析。

该存储库贡献以下内容：

1. 用于Web的代码，将OSRS HISCORS以及结果数据集以及所得数据集刮除。
2. 机器学习管道的代码，该管道以帐户相似性将播放器总数簇聚集。
3. 一种用于可视化播放器结果的交互式Web应用程序。

数据集由以下文件组成：

1. player-stats.csv ：所有23个技能的技能水平，用于前200万个OSRS帐户。
2. cluster-centroids.csv ：基于帐户相似性将播放器数据集分为组的群集的中心值。每个质心是“ OSRS技能”空间中1-99之间的值的向量。
3. player-clusters.csv ：三个单独的群集运行的每个播放器群集ID，通过查看（i）所有技能，（ii）仅战斗技能以及（iii）非战斗技能来分组类似的帐户。
4. player-stats-raw.csv ：排名，级别，XP，线索，迷你游戏和老板统计数据，是前200万OSRS播放器的。该文件是刮擦过程（1.7 GB）的原始输出。

由于文件大小约束，这些文件未进入存储库。它们可以从Google Drive分开下载：https：//bit.ly/osrs-hiscores-dataset

2022年7月21日的24小时内，从官方OSRS HISCORES收集了播放器统计数据。

项目组织

 ├── LICENSE
├── Makefile         <- Top-level Makefile for building and running project.
├── README.md        <- The top-level README for developers using this project.
│
├── app              <- Application code and assets.
├── bin              <- Utility executables.
│
├── data
│   ├── final        <- The final, canonical data set.
│   ├── interim      <- Intermediate data that has been transformed.
│   └── raw          <- The original, immutable data dump.
│
├── ref              <- Reference files used in data processing.
├── scripts          <- Scripts for the stages of the data processing pipeline.
│
├── src
│   ├── analysis     <- Data science and analytics.
│   └── scrape       <- Scraping hiscores data.
│
├── test             <- Unit tests.
│
├── Procfile         <- Entry point for deployment as a Heroku application.
├── requirements.txt <- Dependencies file for reproducing the project environment.
├── runapp.py        <- Main script for Dash application.
└── setup.py         <- Setup file for installing this project through pip.

用法

在高水平上，该存储库实现了数据科学管道：

 scrape OSRS hiscores data
         ↓
cluster players by stats
         ↓
project clusters to 3D
         ↓
build application data

以及可视化结果的破折号应用程序。

数据管道的阶段是由每个处理阶段具有顶级make目标的Makefile驱动的：

1. make init ：设置项目环境并安装依赖关系。
2. make scrape ：从官方OSRS HISCORES中刮擦数据，然后转换为清洁的数据集。
3. make cluster ：根据他们的统计数据将群体群体分成类似帐户的组。 FAISS库实现的使用K-均值作为聚类算法。
4. make postprocess ：将簇质心从高维空间到3D投影（用于可视化目的）（UMAP是用于降低维度的算法）。根据其中包含的玩家群体为每个群集计算四分位数。
5. make build-app ：使用所有先前的分析结果构建应用程序数据和数据库。该目标将在URL localhost:27017 （默认情况下）的Docker容器内启动MongoDB实例。

步骤2和3可以通过简单地运行make download-dataset来跳过（并且应该），从而从S3存储桶中获取了刮擦数据和聚类的结果。这需要一个AWS帐户，该帐户具有位于~/.aws目录中的凭据。

要启动该应用程序，请在Web浏览器中访问make run-app并访问URL localhost:8050 。

最终应用程序可以通过make app构建并运行，该应用程序使用下载的数据，而不是从头开始刮擦和群集数据。目标make all是用来构建此存储库的最终结果的方法。如果刮擦数据，请注意，HISCORS API的高使用可能会导致您的IP被阻止。在您使用此代码时，请保留和尊重Jagex的服务器资源。

运行make help以查看更多顶级目标。

配置

设置了许多环境变量以配置应用程序。

• OSRS_APPDATA_URI ：应用程序数据.pkl文件（S3或local）的路径
• OSRS_MONGO_URI ：MongoDB实例的URL
• OSRS_MONGO_COLL ：以此名称从收集中存储/检索播放器数据

在数据管道的每个阶段，也有定义文件名的环境变量。

所有环境变量的默认值是在.env.default中定义的，并且每当运行make目标时导入。如果存在称为.env的文件，则任何设置都将覆盖.env.default中的文件。

依赖性

• Python 3.9或更高（在此处下载）
• Docker（在此处下载）
• AWS帐户中安装了~/.aws目录中的凭据（在此处创建帐户）

方法

• 在OSRS HISCORS上，数据刮了数据的前200万球员。数据包括每个OSR技能和总体上的XP，等级和级别，以及线索卷轴，迷你柜和老板的等级和得分统计数据。
• 将帐户数据删除，分类和亚采样，以仅保留技能级列。重复数据删除后，保留了1999625记录。每个记录都是长度为23矢量，在23个OSRS技能中给出了帐户的水平。
• 根据三组功能列或数据集“拆分”的技能相似性，将帐户细分为2000个集群：
  • all ：所有23个OSR技能
  • cb ：7个战斗技能
  • noncb ：16个非战斗技能
• 对于数据集的每个拆分，聚类产生了一组2000个集群质心（具有23、7或16的维度）和与每个玩家关联的集群ID。使用L2距离的标准实现进行聚类。
• 使用UMAP将簇质心从其环境维度投射到3D空间。 UMAP参数n_neighbors=10 ， min_dist=0.25用于all和noncb ； n_neighbors=20 ， min_dist=0.25用于分裂cb 。
• 通过汇总属于每个集群的帐户来计算每个技能中的四分位数（0、25、50、75和100个百分位数）。
• 聚类结果被组装到序列化数据文件中。玩家统计信息被写入数据库，以提供快速的结果查找。最终应用利用了这两个资源。

项目想法

以下是数据科学项目的一些想法。

• 对OSRS Ironman Hiscores进行相同的分析。
• 创建一种方法来识别数据集中的机器人群集。
• 鉴于一个帐户的所有其他技能，看看您能预测一项未知技能的能力。对于某些技能而言，这比其他技能更容易，并且可以用游戏元来解释吗？
• 执行分层聚类以识别超级群体或在簇中搜索细粒度的结构。注释这些集群将是迈向OSRS帐户的真正分类法的一步。
• 创建一个反向查找工具，在给定用户名的情况下，可以找到具有相似统计数据的其他帐户。