hibp 다운로더 다운로드 - hibp 다운로더 소스 코드 다운로드

hibp 다운로더

기타 소스코드

다운로드

hibp-다운로더

이것은 모든 좋은 비트를 사용하여 매우 멋진 HIBP pwned 비밀번호 api 엔드포인트에서 pwned 비밀번호 해시 데이터의 로컬 복사본을 효율적으로 다운로드하는 CLI 도구입니다. 다중 처리, 비동기 프로세스, 로컬 캐싱, 콘텐츠 etag 및 http2 연결 풀링을 사용하면 Python에서 가능한 한 빠른 속도로 작업을 수행할 수 있습니다.

특징

압축 파일 데이터 저장소에서 손상된 비밀번호 값을 직접 query 하는 인터페이스!
획득한 데이터를 다운로드하고 gzip으로 압축하여 저장하면 스토리지를 절약하고 쿼리 속도를 높일 수 있습니다.
45분 이내에 전체 데이터 세트 다운로드(일반적으로 CPU 제한)
api-source를 다시 클로버링하지 않고도 중단된 download 작업을 --data-path 로 쉽게 재개할 수 있습니다.
소스 콘텐츠가 변경된 경우에만 해시 접두사 콘텐츠 블록을 다운로드합니다(콘텐츠 ETAG 값을 통해). 필요할 때 정기적으로 동기화하기가 쉽습니다.
쿼리 인터페이스 성능은 합리적인 로드로 사용자 웹 서비스를 연결할 수 있을 만큼 효율적입니다(즉, 데이터 세트의 압축을 풀고 데이터베이스에 저장하는 데 리소스를 낭비하지 마십시오!)
멋진 HIBP 팀의 PwnedPasswordsDownloader와 유사하게 순서대로 설정된 비밀번호 해시 값을 사용하여 단일 텍스트 파일을 생성하는 기능.
필요한 경우 다른 도구에서 쉽게 데이터를 재사용할 수 있도록 JSON 형식의 접두사 파일 메타데이터입니다.

설치하다

 pipx install hibp-downloader

사용법(다운로드)

성능

샘플 다운로드 활동 로그 500Mbit/s 연결에 32개의 코어가 있는 호스트.

 ...
2024-05-16T10:18:01-0400 | INFO | hibp-downloader | prefix=f80c7 source=[lc:13616 et:3 rc:1002358 ro:25 xx:1] processed=[17836.6MB ~414462H/s] api=[918req/s 17597.4MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f81af source=[lc:13616 et:3 rc:1002558 ro:25 xx:1] processed=[17840.1MB ~414454H/s] api=[918req/s 17600.9MB] runtime=36.4min
2024-05-16T10:18:02-0400 | INFO | hibp-downloader | prefix=f826f source=[lc:13616 et:3 rc:1002758 ro:25 xx:1] processed=[17843.6MB ~414454H/s] api=[918req/s 17604.4MB] runtime=36.4min
2024-05-16T10:18:03-0400 | INFO | hibp-downloader | prefix=f833f source=[lc:13616 et:3 rc:1002958 ro:25 xx:1] processed=[17847.1MB ~414450H/s] api=[918req/s 17607.9MB] runtime=36.4min

api.pwnedpasswords.com 에 대한 초당 918x 요청
로그 소스는 약어로 다음과 같습니다.
- lc : 13616 from local-cache(lc) - 요청-응답이 네트워크에 도달하지 않고 로컬로 처리됩니다.
- et : 3 etag-matched (et) - 로컬 데이터가 최신이고 새로 다운로드할 필요가 없음을 확인하는 요청-응답입니다.
- rc : 1002958 from 원격 캐시(rc) - 로컬에 다운로드되었지만 원격 서버 캐시에서 온 요청-응답입니다.
- ro : 25 from 원격 원본(ro) - 로컬에 다운로드된 요청-응답과 원격 원본 소스에서 다운로드를 가져와야 했습니다.
- xx : 실패한 응답 1개 - 실패하고 성공적으로 재시도된 요청-응답입니다.
~36분 안에 ~17GB 다운로드(전체 데이터 세트)
초당 약 414,000개의 해시 값 수신
이 예의 처리는 CPU 바인딩된 것으로 보이며 약 160Mbit/s 정도의 트래픽으로 측정되었습니다.