Baixar hibp downloader - download do código-fonte do hibp downloader

downloader hibp

Outro código-fonte

Baixar

downloader hibp

Esta é uma ferramenta CLI para baixar com eficiência uma cópia local dos dados de hash de senha pwned do incrível ponto final da API de senhas pwned HIBP usando todos os bits bons; multiprocessamento, processos assíncronos, cache local, tags de conteúdo e pooling de conexões http2 para provavelmente tornar as coisas o mais rápido possível em Python.

Características

Interface para query diretamente valores de senha comprometidos no armazenamento de dados de arquivos compactados !
Baixe e armazene os dados adquiridos em compactação gzip para economizar armazenamento e acelerar as consultas.
Baixe o conjunto de dados completo em menos de 45 minutos (geralmente vinculado à CPU)
Retome facilmente as operações download interrompidas em um --data-path sem sobrecarregar novamente o api-source.
Baixe apenas blocos de conteúdo com prefixo de hash quando o conteúdo de origem for alterado (por meio de valores ETAG de conteúdo); facilitando a sincronização periódica quando necessário.
O desempenho da interface de consulta é eficiente o suficiente para anexar um serviço web do usuário com cargas razoáveis (ou seja, não desperdice seus próprios recursos descompactando o conjunto de dados e armazenando-o em um banco de dados!)
Capacidade de gerar um único arquivo de texto com valores de hash de senha pwned em ordem, semelhante ao PwnedPasswordsDownloader da incrível equipe HIBP.
Metadados de arquivo por prefixo em formato JSON para fácil reutilização de dados por outras ferramentas, se necessário.

Instalar

 pipx install hibp-downloader

Uso (baixar)

Desempenho

Exemplo de registro de atividades de download; host com 32 núcleos em conexão de 500Mbit/s.

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

918x solicitações por segundo para api.pwnedpasswords.com
As fontes de log são abreviadas:
- lc : 13616 do cache local (lc) - respostas de solicitação tratadas localmente sem atingir a rede.
- et : 3 etag-matched (et) - solicitações-respostas que confirmaram que nossos dados locais estavam atualizados e não exigiam um novo download.
- rc : 1002958 do cache remoto (rc) - respostas de solicitação que foram baixadas para o local, mas vieram do cache do servidor remoto.
- ro : 25 de origem remota (ro) - respostas de solicitação que foram baixadas para o local e o download precisava ser obtido da fonte de origem remota.
- xx : 1 resposta com falha - respostas de solicitação que falharam (e foram repetidas com êxito).
~17 GB baixados em aproximadamente 36 minutos (conjunto de dados completo)
Aproximadamente 414 mil valores de hash recebidos por segundo
O processamento neste exemplo parece estar vinculado à CPU, medindo o tráfego em torno de aproximadamente 160 Mbit/s.