pyspiderダウンロード - pyspiderソースコードのダウンロード

pyspider

パイソン

v0.3.10

ダウンロード

ピグモ

Python の強力なスパイダー (ウェブクローラー) システム。

Pythonでスクリプトを書く
スクリプトエディター、タスクモニター、プロジェクトマネージャー、結果ビューアーを備えた強力なWebUI
MySQL、MongoDB、Redis、SQLite、Elasticsearch;データベースバックエンドとして SQLAlchemy を使用した PostgreSQL
メッセージキューとしての RabbitMQ、Redis、Kombu
タスクの優先順位、再試行、定期的、経過時間による再クロールなど...
分散アーキテクチャ、JavaScript ページのクロール、Python 2.{6,7}、3.{3,4,5,6} のサポートなど...

チュートリアル: http://docs.pyspider.org/en/latest/tutorial/
ドキュメント: http://docs.pyspider.org/
リリースノート: https://github.com/binux/pyspider/releases

サンプルコード

 from pyspider . libs . base_handler import *


class Handler ( BaseHandler ):
    crawl_config = {
    }

    @ every ( minutes = 24 * 60 )
    def on_start ( self ):
        self . crawl ( 'http://scrapy.org/' , callback = self . index_page )

    @ config ( age = 10 * 24 * 60 * 60 )
    def index_page ( self , response ):
        for each in response . doc ( 'a[href^="http"]' ). items ():
            self . crawl ( each . attr . href , callback = self . detail_page )

    def detail_page ( self , response ):
        return {
            "url" : response . url ,
            "title" : response . doc ( 'title' ). text (),
        }