hibp downloader 下載 - hibp downloader 原始碼下載

HIBP下載器

其他源碼

下載

hibp 下載器

這是一個 CLI 工具，可以使用所有好的位元從非常出色的 HIBP pwned 密碼 api 端點高效下載 pwned 密碼雜湊資料的本機副本；多處理、非同步進程、本機快取、內容 etag 和 http2 連線池可能會讓事情盡可能快速地實現 Python 的速度。

特徵

用於直接從壓縮檔案資料儲存query受損密碼值的介面！
下載並以 gzip 壓縮形式儲存所取得的數據，以節省儲存空間並加快查詢速度。
在 45 分鐘內下載完整資料集（通常受 CPU 限制）
輕鬆將中斷的download操作還原到--data-path中，而無需重新破壞 api-source。
僅當來源內容發生變更時才下載雜湊前綴內容區塊（透過內容 ETAG 值）；以便在需要時輕鬆定期同步。
查詢介面效能足夠高效，可以附加具有合理負載的用戶 Web 服務（即，不要浪費自己的資源來解壓縮資料集並儲存在資料庫中！）
能夠產生具有按順序破解的密碼雜湊值的單一文字文件，類似於來自出色的 HIBP 團隊的 PwnedPasswordsDownloader。
每個前綴文件元資料採用 JSON 格式，以便其他工具（如果需要）輕鬆重複使用資料。

安裝

 pipx install hibp-downloader

使用方法（下載）

表現

下載活動日誌範本；主機具有 32 個內核，連線速度為 500Mbit/s。

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

每秒 918 次請求api.pwnedpasswords.com
日誌來源是簡寫：
- lc : 13616 來自本機快取 (lc) - 請求回應在本機處理，無需存取網路。
- et : 3 etag-matched (et) - 請求回應確認我們的本地資料是最新的並且不需要重新下載。
- rc : 1002958 來自遠端快取 (rc) - 下載到本機的請求回應，但來自遠端伺服器快取。
- ro : 25 來自遠端來源 (ro) - 下載到本機的請求回應，並且需要從遠端來源取得下載。
- xx ：1 個失敗的回應 - 失敗的請求回應（並成功重試）。
約 36 分鐘內下載約 17GB（完整資料集）
每秒接收約 414k 雜湊值
此範例中的處理似乎受 CPU 限制，測量流量約為 160 Mbit/s。