Téléchargement du téléchargeur hibp - Téléchargement du code source du téléchargeur hibp

téléchargeur hibp

Autre code source

Télécharger

hibp-téléchargeur

Il s'agit d'un outil CLI permettant de télécharger efficacement une copie locale des données de hachage de mot de passe pwned à partir du très impressionnant point de terminaison API des mots de passe pwned HIBP en utilisant tous les bons bits ; multitraitement, processus asynchrones, mise en cache locale, balises de contenu et pooling de connexions http2 pour probablement rendre les choses aussi rapides que possible en Python.

Caractéristiques

Interface permettant query directement les valeurs de mot de passe compromises à partir du magasin de données de fichiers compressés !
Téléchargez et stockez les données acquises au format gzip compressé pour économiser sur le stockage et accélérer les requêtes.
Téléchargez l'ensemble de données complet en moins de 45 minutes (généralement lié au processeur)
Reprenez facilement les opérations download interrompues dans un --data-path sans ré-encombrer la source de l'API.
Téléchargez uniquement les blocs de contenu avec préfixe de hachage lorsque le contenu source a changé (via les valeurs ETAG du contenu) ; ce qui facilite la synchronisation périodique en cas de besoin.
Les performances de l'interface de requête sont suffisamment efficaces pour attacher un service Web utilisateur avec des charges raisonnables (c'est-à-dire ne gaspillez pas vos propres ressources à décompresser l'ensemble de données et à le stocker dans une base de données !)
Possibilité de générer un seul fichier texte avec des valeurs de hachage de mot de passe pwned dans l'ordre, similaire à PwnedPasswordsDownloader de la formidable équipe HIBP.
Métadonnées de fichier par préfixe au format JSON pour une réutilisation facile des données par d'autres outils si nécessaire.

Installer

 pipx install hibp-downloader

Utilisation (télécharger)

Performance

Exemple de journal d'activité de téléchargement ; hôte avec 32 cœurs sur une connexion 500 Mbit/s.

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

918x requêtes par seconde vers api.pwnedpasswords.com
Les sources des journaux sont des raccourcis :
- lc : 13616 depuis le cache local (lc) - requêtes-réponses traitées localement sans toucher le réseau.
- et : 3 etag-matched (et) - requêtes-réponses confirmant que nos données locales étaient à jour et ne nécessitaient pas de nouveau téléchargement.
- rc : 1002958 depuis le cache distant (rc) - requêtes-réponses téléchargées en local, mais provenant du cache du serveur distant.
- ro : 25 à partir d'une origine distante (ro) - requêtes-réponses qui ont été téléchargées en local et le téléchargement devait être récupéré à partir d'une source d'origine distante.
- xx : 1 réponses ayant échoué – réponses aux requêtes qui ont échoué (et réessayées avec succès).
~ 17 Go téléchargés en ~ 36 minutes (ensemble de données complet)
Environ ~ 414 000 valeurs de hachage reçues par seconde
Le traitement dans cet exemple semble être lié au processeur et le trafic mesuré est d'environ 160 Mbit/s.