Скачать r34 crawler - Скачать исходный код r34 crawler

r34 crawler

Другой исходный код

v1.0.0

Скачать

r34-краулер

Простой, автономный инструмент CLI для получения и загрузки изображений с rule34.xxx (Внимание: этот сайт определенно содержит контент NSFW!) .

Вы можете скачать последние двоичные файлы со страницы выпусков.

Кроме того, вы также можете установить инструмент с помощью груза, если у вас установлена цепочка инструментов Rust.

 cargo install --git https://github.com/zekroTJA/r34-crawler r34-crawler

Затем просто откройте терминал (bash или powershell) и запустите двоичный файл с флагом --help :

 Usage: r34-crawler.exe [OPTIONS] [TAGS]...

Arguments:
  [TAGS]...  Image tags

Options:
  -o, --output         The output directory for downloaded images [default: output]
  -l, --limit           Number of images to be collected
  -O, --offset         Offset to be skipped in collected images
  -a, --after-id     Query posts created after the given post ID
  -p, --page-size   The page size used per request when listing images [default: 250]
      --overwrite              Force overwriting already downloaded images
  -t, --threads       Number of threads used for downloading images in parallel [default: 4]
  -m, --meta             Store image post metadata in the given file as JSON
  -h, --help                   Print help
  -V, --version                Print version

Вы можете указать количество threads с помощью флага --threads (или -w ) . Это означает, что если вы укажете, например, 4 потока, 4 изображения будут загружаться параллельно. 4 потока также являются значением по умолчанию, если не указано иное, поскольку оно дает наилучшие результаты в моих личных тестах. Ваш пробег может варьироваться в зависимости от производительности вашей системы и скорости вашей сети.

Тесты проводились на нисходящем канале 250 Мбит/с. Конечно, скорость также зависит от размеров изображения и степени сжатия, а также от скорости машины и дисков.