Descarga de hibp downloader - descarga de código fuente de hibp downloader

descargador hipp

Otro código fuente

Descargar

descargador-hipp

Esta es una herramienta CLI para descargar eficientemente una copia local de los datos hash de contraseñas pwned desde el increíble punto final API de contraseñas pwned HIBP utilizando todos los bits buenos; multiprocesamiento, procesos asíncronos, almacenamiento en caché local, etiquetas de contenido y agrupación de conexiones http2 para probablemente hacer las cosas lo más rápido posible con Pythonly.

Características

¡Interfaz para query directamente los valores de contraseña comprometidos desde el almacén de datos de archivos comprimidos !
Descargue y almacene los datos adquiridos comprimidos en gzip para ahorrar almacenamiento y acelerar las consultas.
Descargue el conjunto de datos completo en menos de 45 minutos (generalmente vinculado a la CPU)
Reanude fácilmente las operaciones download interrumpidas en una --data-path sin volver a bloquear la fuente de API.
Descargue bloques de contenido con prefijo hash solo cuando el contenido fuente haya cambiado (a través de valores ETAG de contenido); facilitando la sincronización periódica cuando sea necesario.
El rendimiento de la interfaz de consulta es lo suficientemente eficiente como para adjuntar un servicio web de usuario con cargas razonables (es decir, ¡no desperdicie sus propios recursos descomprimiendo el conjunto de datos y almacenándolo en una base de datos!)
Capacidad para generar un único archivo de texto con valores hash de contraseñas pwned en orden, similar a PwnedPasswordsDownloader del increíble equipo HIBP.
Metadatos de archivo por prefijo en formato JSON para facilitar la reutilización de datos por parte de otras herramientas si es necesario.

Instalar

 pipx install hibp-downloader

Uso (descargar)

Actuación

Registro de actividad de descarga de muestra; Host con 32 núcleos en conexión de 500Mbit/s.

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

918 solicitudes por segundo a api.pwnedpasswords.com
Las fuentes de registro son abreviadas:
- lc : 13616 de local-cache (lc): las solicitudes y respuestas se manejan localmente sin acceder a la red.
- et : 3 etag-matched (et): solicitudes-respuestas que confirmaron que nuestros datos locales estaban actualizados y no requerían una nueva descarga.
- rc : 1002958 de caché remota (rc): solicitudes-respuestas que se descargaron en el local, pero que provienen de la caché del servidor remoto.
- ro : 25 de origen remoto (ro): solicitudes-respuestas que se descargaron en local y la descarga debía obtenerse de una fuente de origen remota.
- xx : 1 respuestas fallidas: solicitudes-respuestas que fallaron (y se reintentaron con éxito).
~17 GB descargados en ~36 minutos (conjunto de datos completo)
Aproximadamente ~414k valores hash recibidos por segundo
El procesamiento en este ejemplo parece estar vinculado a la CPU y el tráfico medido es de aproximadamente ~160 Mbit/s.