r34 crawler
v1.0.0
一个简单、独立的 CLI 工具,用于从rule34.xxx 获取和下载图像(注意:此站点明确包含 NSFW 内容!) 。
您可以从版本页面下载最新版本的二进制文件。
或者,当安装了 Rust 工具链时,您也可以使用 Cargo 安装该工具。
cargo install --git https://github.com/zekroTJA/r34-crawler r34-crawler
然后,只需打开一个终端(bash 或 powershell)并使用--help
标志执行二进制文件:
Usage: r34-crawler.exe [OPTIONS] [TAGS]...
Arguments:
[TAGS]... Image tags
Options:
-o, --output <OUTPUT> The output directory for downloaded images [default: output]
-l, --limit <LIMIT> Number of images to be collected
-O, --offset <OFFSET> Offset to be skipped in collected images
-a, --after-id <AFTER_ID> Query posts created after the given post ID
-p, --page-size <PAGE_SIZE> The page size used per request when listing images [default: 250]
--overwrite Force overwriting already downloaded images
-t, --threads <THREADS> Number of threads used for downloading images in parallel [default: 4]
-m, --meta <META> Store image post metadata in the given file as JSON
-h, --help Print help
-V, --version Print version
您可以使用--threads
(或-w
)标志指定threads
数量。这意味着,例如,如果您指定 4 个线程,则将并行下载 4 个图像。如果没有进一步指定,4 线程也是默认值,因为在我个人测试中它会产生最佳结果。您的里程可能会有所不同,具体取决于您的系统性能和网络速度。
测试在 250 MBit/s 下游执行。当然,速度还取决于图像大小和压缩率,以及机器和驱动器的速度。
线程数 | 锈版 | (旧)Go版本 |
---|---|---|
1 | 27.888秒 | 30.358秒 |
2 | 22.794秒 | 24.962秒 |
4 | 20.889秒 | 21.353秒 |
8 | 22.362秒 | 20.517秒 |
16 | 20.379秒 | 20.505秒 |
© 2024 Ringo Hoffmann(zekro 开发)
受麻省理工学院许可证保护。