PySipder-Crawler-Programm v0.3.10

PySipder ist ein Python-Crawler-Programm.

PySipder-Funktionen

Verwenden Sie Python, um Skripte zu schreiben und eine leistungsstarke API bereitzustellen

Python 2&3

Leistungsstarker WebUI- und Skripteditor, Aufgabenüberwachung und Projektverwaltung sowie Ergebnisanzeige

Unterstützen Sie JavaScript-Seiten

Unterstützung des Backend-Systems: MySQL, MongoDB, SQLite, Postgresql

Unterstützt Aufgabenpriorität, Wiederholungsversuche, regelmäßiges Crawlen usw.

Verteilte Architektur