Unduh pyspider - Unduh kode sumber pyspider

pyspider

ular piton

v0.3.10

Unduh

pyspider

Sistem Spider (Web Crawler) yang Kuat dengan Python.

Tulis skrip dengan Python
WebUI yang kuat dengan editor skrip, monitor tugas, manajer proyek, dan penampil hasil
MySQL, MongoDB, Redis, SQLite, Pencarian Elastis; PostgreSQL dengan SQLAlchemy sebagai backend database
RabbitMQ, Redis dan Kombu sebagai antrian pesan
Prioritas tugas, coba lagi, berkala, perayapan ulang berdasarkan usia, dll...
Arsitektur terdistribusi, halaman Javascript Perayapan, dukungan Python 2.{6,7}, 3.{3,4,5,6}, dll...

Tutorial: http://docs.pyspider.org/en/latest/tutorial/
Dokumentasi: http://docs.pyspider.org/
Catatan rilis: https://github.com/binux/pyspider/releases

Kode Contoh

 from pyspider . libs . base_handler import *


class Handler ( BaseHandler ):
    crawl_config = {
    }

    @ every ( minutes = 24 * 60 )
    def on_start ( self ):
        self . crawl ( 'http://scrapy.org/' , callback = self . index_page )

    @ config ( age = 10 * 24 * 60 * 60 )
    def index_page ( self , response ):
        for each in response . doc ( 'a[href^="http"]' ). items ():
            self . crawl ( each . attr . href , callback = self . detail_page )

    def detail_page ( self , response ):
        return {
            "url" : response . url ,
            "title" : response . doc ( 'title' ). text (),
        }

Instalasi

pip install pyspider
jalankan perintah pyspider , kunjungi http://localhost:5000/

PERINGATAN: WebUI terbuka untuk umum secara default, dapat digunakan untuk menjalankan perintah apa pun yang dapat membahayakan sistem Anda. Silakan gunakan di jaringan internal atau aktifkan need-auth untuk webui.

Mulai cepat: http://docs.pyspider.org/en/latest/Quickstart/