r34 crawler

R34-Crawler

Ein einfaches, eigenständiges CLI-Tool zum Abrufen und Herunterladen von Bildern von Rule34.xxx (Achtung: Diese Site enthält definitiv NSFW-Inhalte!) .

Sie können die neuesten Release-Binärdateien von der Release-Seite herunterladen.

Alternativ können Sie das Tool auch per Cargo installieren, wenn Sie die Rust-Toolchain installiert haben.

 cargo install --git https://github.com/zekroTJA/r34-crawler r34-crawler

Öffnen Sie dann einfach ein Terminal (Bash oder Powershell) und führen Sie die Binärdatei mit dem Flag --help aus:

 Usage: r34-crawler.exe [OPTIONS] [TAGS]...

Arguments:
  [TAGS]...  Image tags

Options:
  -o, --output 
        The output directory for downloaded images [default: output]
  -l, --limit           Number of images to be collected
  -O, --offset         Offset to be skipped in collected images
  -a, --after-id     Query posts created after the given post ID
  -p, --page-size   The page size used per request when listing images [default: 250]
      --overwrite              Force overwriting already downloaded images
  -t, --threads       Number of threads used for downloading images in parallel [default: 4]
  -m, --meta             Store image post metadata in the given file as JSON
  -h, --help                   Print help
  -V, --version                Print version

Mit dem Flag --threads (oder -w ) können Sie eine Anzahl von threads angeben. Das heißt, wenn Sie beispielsweise 4 Threads angeben, werden 4 Bilder parallel heruntergeladen. 4 Threads ist auch der Standardwert, sofern nicht näher spezifiziert, da er in meinen persönlichen Tests die besten Ergebnisse liefert. Ihr Kilometerstand kann je nach Systemleistung und Netzwerkgeschwindigkeit variieren.

Die Tests wurden auf einem 250 MBit/s Downstream durchgeführt. Natürlich hängen die Geschwindigkeiten auch von den Bildgrößen und Komprimierungsraten sowie der Geschwindigkeit der Maschine und der Laufwerke ab.

Themen	Rust-Version	(alte) Go-Version
1	27,888s	30,358 Sekunden
2	22,794 Sekunden	24,962 Sekunden
4	20,889s	21,353 Sekunden
8	22,362 Sekunden	20,517 Sekunden
16	20,379 Sekunden	20,505 Sekunden

---

© 2024 Ringo Hoffmann (zekro Development)
Gedeckt durch die MIT-Lizenz.