PySipder クローラー プログラム v0.3.10

PySipder は Python クローラー プログラムです。

PySipderの機能

Python を使用してスクリプトを作成し、強力な API を提供する

Python 2&3

強力な WebUI とスクリプト エディター、タスクの監視、プロジェクト管理、結果の表示

JavaScript ページのサポート

バックエンド システムのサポート: MySQL、MongoDB、SQLite、Postgresql

タスクの優先順位、再試行、定期的なクローリングなどをサポートします。

分散アーキテクチャ