تنزيل pyspider - تنزيل كود مصدر pyspider

pyspider

بايثون

v0.3.10

تنزيل

pyspider

نظام عنكبوتي قوي (زاحف الويب) في بايثون.

كتابة السيناريو في بايثون
واجهة مستخدم WebUI قوية مع محرر البرامج النصية ومراقبة المهام ومدير المشروع وعارض النتائج
MySQL، MongoDB، Redis، SQLite، Elasticsearch؛ PostgreSQL مع SQLAlchemy كواجهة خلفية لقاعدة البيانات
RabbitMQ وRedis وKombu كقائمة انتظار الرسائل
أولوية المهمة، إعادة المحاولة، الدورية، إعادة الزحف حسب العمر، وما إلى ذلك...
البنية الموزعة، صفحات جافا سكريبت للزحف، دعم Python 2.{6,7}، 3.{3,4,5,6}، وما إلى ذلك...

البرنامج التعليمي: http://docs.pyspider.org/en/latest/tutorial/
الوثائق: http://docs.pyspider.org/
ملاحظات الإصدار: https://github.com/binux/pyspider/releases

رمز العينة

 from pyspider . libs . base_handler import *


class Handler ( BaseHandler ):
    crawl_config = {
    }

    @ every ( minutes = 24 * 60 )
    def on_start ( self ):
        self . crawl ( 'http://scrapy.org/' , callback = self . index_page )

    @ config ( age = 10 * 24 * 60 * 60 )
    def index_page ( self , response ):
        for each in response . doc ( 'a[href^="http"]' ). items ():
            self . crawl ( each . attr . href , callback = self . detail_page )

    def detail_page ( self , response ):
        return {
            "url" : response . url ,
            "title" : response . doc ( 'title' ). text (),
        }