hibp downloader 下载 - hibp downloader 源码下载

HIBP下载器

其他源码

下载

hibp 下载器

这是一个 CLI 工具，可以使用所有好的位从非常出色的 HIBP pwned 密码 api 端点高效下载 pwned 密码哈希数据的本地副本；多处理、异步进程、本地缓存、内容 etag 和 http2 连接池可能使事情尽可能快地实现 Python 的速度。

特征

用于直接从压缩文件数据存储query受损密码值的接口！
下载并以 gzip 压缩形式存储获取的数据，以节省存储空间并加快查询速度。
在 45 分钟内下载完整数据集（通常受 CPU 限制）
轻松将中断的download操作恢复到--data-path中，而无需重新破坏 api-source。
仅当源内容发生更改时才下载哈希前缀内容块（通过内容 ETAG 值）；以便在需要时轻松定期同步。
查询接口性能足够高效，可以附加具有合理负载的用户 Web 服务（即，不要浪费自己的资源来解压缩数据集并存储在数据库中！）
能够生成具有按顺序破解的密码哈希值的单个文本文件，类似于来自出色的 HIBP 团队的 PwnedPasswordsDownloader。
每个前缀文件元数据采用 JSON 格式，以便其他工具（如果需要）轻松重用数据。

安装

 pipx install hibp-downloader

使用方法（下载）

表现

下载活动日志样本；主机具有 32 个内核，连接速度为 500Mbit/s。

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

每秒 918 次请求api.pwnedpasswords.com
日志源是简写：
- lc : 13616 来自本地缓存 (lc) - 请求响应在本地处理，无需访问网络。
- et : 3 etag-matched (et) - 请求响应确认我们的本地数据是最新的并且不需要重新下载。
- rc : 1002958 来自远程缓存 (rc) - 下载到本地的请求响应，但来自远程服务器缓存。
- ro : 25 来自远程源 (ro) - 下载到本地的请求响应，并且需要从远程源获取下载。
- xx ：1 个失败的响应 - 失败的请求响应（并成功重试）。
约 36 分钟内下载约 17GB（完整数据集）
每秒接收约 414k 哈希值
此示例中的处理似乎受 CPU 限制，测量流量约为 160 Mbit/s。