pengunduh hibp Unduh - pengunduh hibp Pengunduhan kode sumber

pengunduh hibp

Kode sumber lainnya

Unduh

hibp-downloader

Ini adalah alat CLI untuk secara efisien mengunduh salinan lokal dari data hash kata sandi pwned dari titik akhir api kata sandi pwned HIBP yang sangat mengagumkan menggunakan semua bit yang bagus; multiprosesing, proses asinkron, caching lokal, tag konten, dan pengumpulan koneksi http2 mungkin membuat segala sesuatunya secepat mungkin dengan Python.

Fitur

Antarmuka untuk secara langsung query nilai kata sandi yang disusupi dari penyimpanan data file terkompresi !
Unduh dan simpan data yang diperoleh dalam format gzip yang dikompresi untuk menghemat penyimpanan dan mempercepat kueri.
Unduh kumpulan data lengkap dalam waktu kurang dari 45 menit (umumnya terikat CPU)
Lanjutkan dengan mudah operasi download yang terputus ke --data-path tanpa merusak sumber api lagi.
Hanya unduh blok konten awalan hash ketika konten sumber telah berubah (melalui nilai ETAG konten); memudahkan sinkronisasi berkala bila diperlukan.
Performa antarmuka kueri cukup efisien untuk melampirkan layanan web pengguna dengan beban yang wajar (yaitu, jangan buang sumber daya Anda sendiri untuk mendekompresi kumpulan data dan menyimpannya dalam database!)
Kemampuan untuk menghasilkan satu file teks dengan nilai hash kata sandi yang diurutkan, mirip dengan PwnedPasswordsDownloader dari tim HIBP yang luar biasa.
Metadata file per awalan dalam format JSON untuk memudahkan penggunaan kembali data oleh alat lain jika diperlukan.

Memasang

 pipx install hibp-downloader

Penggunaan (unduh)

Pertunjukan

Contoh log aktivitas pengunduhan; host dengan 32 core pada koneksi 500Mbit/s.

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

918x permintaan per detik ke api.pwnedpasswords.com
Sumber log adalah singkatan:
- lc : 13616 from local-cache (lc) - respons permintaan ditangani secara lokal tanpa mengenai jaringan.
- et : 3 etag-matched (et) - respons permintaan yang mengonfirmasi bahwa data lokal kami mutakhir dan tidak memerlukan unduhan baru.
- rc : 1002958 dari cache jarak jauh (rc) - respons permintaan yang diunduh ke lokal, tetapi berasal dari cache server jarak jauh.
- ro : 25 from remote-origin (ro) - respons permintaan yang diunduh ke lokal, dan unduhan harus diambil dari sumber asal jauh.
- xx : 1 respons gagal - respons permintaan gagal (dan berhasil dicoba ulang).
~17GB diunduh dalam ~36 menit (kumpulan data lengkap)
Sekitar ~414 ribu nilai hash diterima per detik
Pemrosesan dalam contoh ini tampaknya terikat pada CPU, lalu lintas terukur sekitar ~160 Mbit/s.