ดาวน์โหลด pyspider - ดาวน์โหลดซอร์สโค้ด pyspider

pyspider

หลาม

v0.3.10

ดาวน์โหลด

ไพสไปเดอร์

ระบบ Spider (Web Crawler) อันทรงพลังใน Python

เขียนสคริปต์ใน Python
WebUI อันทรงพลังพร้อมโปรแกรมแก้ไขสคริปต์ การตรวจสอบงาน ผู้จัดการโครงการ และผู้ดูผลลัพธ์
MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL พร้อม SQLAlchemy เป็นแบ็กเอนด์ฐานข้อมูล
RabbitMQ, Redis และ Kombu เป็นคิวข้อความ
ลำดับความสำคัญของงาน ลองใหม่ เป็นระยะๆ รวบรวมข้อมูลซ้ำตามอายุ ฯลฯ...
สถาปัตยกรรมแบบกระจาย, การรวบรวมข้อมูลหน้า Javascript, รองรับ Python 2.{6,7}, 3.{3,4,5,6} ฯลฯ...

บทช่วยสอน: http://docs.pyspider.org/en/latest/tutorial/
เอกสารประกอบ: http://docs.pyspider.org/
บันทึกประจำรุ่น: https://github.com/binux/pyspider/releases

รหัสตัวอย่าง

 from pyspider . libs . base_handler import *


class Handler ( BaseHandler ):
    crawl_config = {
    }

    @ every ( minutes = 24 * 60 )
    def on_start ( self ):
        self . crawl ( 'http://scrapy.org/' , callback = self . index_page )

    @ config ( age = 10 * 24 * 60 * 60 )
    def index_page ( self , response ):
        for each in response . doc ( 'a[href^="http"]' ). items ():
            self . crawl ( each . attr . href , callback = self . detail_page )

    def detail_page ( self , response ):
        return {
            "url" : response . url ,
            "title" : response . doc ( 'title' ). text (),
        }

การติดตั้ง

pip install pyspider
รันคำสั่ง pyspider ไปที่ http://localhost:5000/

คำเตือน: WebUI เปิดให้บุคคลทั่วไปเข้าชมโดยค่าเริ่มต้น สามารถใช้เพื่อดำเนินการคำสั่งใด ๆ ที่อาจเป็นอันตรายต่อระบบของคุณ โปรดใช้ในเครือข่ายภายในหรือเปิดใช้งาน need-auth สำหรับ webui

การเริ่มต้นอย่างรวดเร็ว: http://docs.pyspider.org/en/latest/Quickstart/