Download pyspider - download do código-fonte pyspider

pyspider

Pitão

v0.3.10

Baixar

aranha

Um poderoso sistema Spider (Web Crawler) em Python.

Escreva script em Python
WebUI poderosa com editor de scripts, monitor de tarefas, gerenciador de projetos e visualizador de resultados
MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL com SQLAlchemy como backend de banco de dados
RabbitMQ, Redis e Kombu como fila de mensagens
Prioridade da tarefa, nova tentativa, periódico, novo rastreamento por idade, etc...
Arquitetura distribuída, rastreamento de páginas Javascript, suporte a Python 2.{6,7}, 3.{3,4,5,6}, etc...

Tutorial: http://docs.pyspider.org/en/latest/tutorial/
Documentação: http://docs.pyspider.org/
Notas de versão: https://github.com/binux/pyspider/releases

Código de exemplo

 from pyspider . libs . base_handler import *


class Handler ( BaseHandler ):
    crawl_config = {
    }

    @ every ( minutes = 24 * 60 )
    def on_start ( self ):
        self . crawl ( 'http://scrapy.org/' , callback = self . index_page )

    @ config ( age = 10 * 24 * 60 * 60 )
    def index_page ( self , response ):
        for each in response . doc ( 'a[href^="http"]' ). items ():
            self . crawl ( each . attr . href , callback = self . detail_page )

    def detail_page ( self , response ):
        return {
            "url" : response . url ,
            "title" : response . doc ( 'title' ). text (),
        }

Instalação

pip install pyspider
execute o comando pyspider , visite http://localhost:5000/

AVISO: O WebUI é aberto ao público por padrão, pode ser usado para executar qualquer comando que possa prejudicar o seu sistema. Use-o em uma rede interna ou habilite o need-auth para webui.

Início rápido: http://docs.pyspider.org/en/latest/Quickstart/