Загрузить hibp Downloader - Загрузить исходный код hibp Downloader

загрузчик hibp

Другой исходный код

Скачать

hibp-загрузчик

Это инструмент CLI для эффективной загрузки локальной копии хеш-данных пароля с очень замечательной конечной точки API паролей HIBP, используя все полезные биты; многопроцессорность, асинхронные процессы, локальное кэширование, теги контента и пул http2-соединений, чтобы, вероятно, сделать работу настолько быстрой, насколько это возможно на Python.

Функции

Интерфейс для прямого query значений скомпрометированных паролей из хранилища данных сжатого файла!
Загрузите и сохраните полученные данные в сжатом формате gzip, чтобы сэкономить место на диске и ускорить выполнение запросов.
Загрузите полный набор данных менее чем за 45 минут (обычно с привязкой к процессору)
Легко возобновляйте прерванные операции download в --data-path без повторного закрытия API-источника.
Загружайте блоки контента с хеш-префиксом только в том случае, если исходный контент изменился (через значения ETAG контента); что упрощает периодическую синхронизацию при необходимости.
Производительность интерфейса запросов достаточно эффективна для подключения пользовательского веб-сервиса с разумной нагрузкой (т. е. не тратьте свои собственные ресурсы на распаковку набора данных и сохранение в базе данных!)
Возможность генерировать один текстовый файл с упорядоченными хэш-значениями пароля, аналогично PwnedPasswordsDownloader от замечательной команды HIBP.
Метаданные каждого файла префикса в формате JSON для удобного повторного использования данных другими инструментами, если это необходимо.

Установить

 pipx install hibp-downloader

Использование (скачать)

Производительность

Пример журнала активности загрузки; хост с 32 ядрами и соединением 500 Мбит/с.

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

918 запросов в секунду к api.pwnedpasswords.com
Источники журналов являются сокращенными:
- lc : 13616 из локального кэша (lc) — запросы-ответы обрабатываются локально, не затрагивая сеть.
- et : 3 etag-matched (et) — запросы-ответы, которые подтвердили, что наши локальные данные актуальны и не требуют новой загрузки.
- rc : 1002958 из удаленного-кеша (rc) — запросы-ответы, которые были загружены на локальный, но пришли из кеша удаленного сервера.
- ro : 25 из удаленного источника (ro) — запросы-ответы, которые были загружены на локальный компьютер, и загрузку необходимо было получить из удаленного источника.
- xx : 1 неудачных ответов — запросы-ответы, которые не удались (и были успешно повторены).
~17 ГБ загружено примерно за 36 минут (полный набор данных)
Приблизительно ~ 414 тыс. хеш-значений, получаемых в секунду
Обработка в этом примере связана с ЦП, измеренный трафик составляет около 160 Мбит/с.