Download phpspider - download do código-fonte phpspider

phpspider

Outras categorias

2.1.7

Baixar

phpspider – estrutura de rastreador de aranha PHP

“Usei um rastreador para “roubar” um milhão de usuários do Zhihu em um dia, apenas para provar que PHP é a melhor linguagem do mundo”

phpspider é uma estrutura de desenvolvimento de rastreadores. Usando esta estrutura, você não precisa entender a implementação da tecnologia subjacente do rastreador. O rastreador é bloqueado pelo site e alguns sites exigem login ou reconhecimento de código de verificação para rastrear. Com apenas algumas linhas de código PHP, você pode criar seu próprio rastreador. Usando a biblioteca de classes Worker multiprocessada encapsulada pelo framework, o código é mais simples e a eficiência de execução é maior e mais rápida.

Existem algumas regras de rastreamento para sites específicos no diretório demo. Contanto que você tenha um ambiente PHP instalado, o código pode ser executado diretamente na linha de comando. Os desenvolvedores interessados em rastreadores podem ingressar no grupo QQ para discutir: 147824717.

Vamos pegar a Enciclopédia Embaraçosa como exemplo para ver como é o nosso rastreador:

$configs = array(
    'name' => '糗事百科',
    'domains' => array(
        'qiushibaike.com',
        'www.qiushibaike.com'
    ),
    'scan_urls' => array(
        'http://www.qiushibaike.com/'
    ),
    'content_url_regexes' => array(
        "http://www.qiushibaike.com/article/d+"
    ),
    'list_url_regexes' => array(
        "http://www.qiushibaike.com/8hr/page/d+?s=d+"
    ),
    'fields' => array(
        array(
            // 抽取内容页的文章内容
            'name' => "article_content",
            'selector' => "//*[@id='single-next-link']",
            'required' => true
        ),
        array(
            // 抽取内容页的文章作者
            'name' => "article_author",
            'selector' => "//div[contains(@class,'author')]//h2",
            'required' => true
        ),
    ),
);
$spider = new phpspider($configs);
$spider->start();

A estrutura geral do rastreador é assim. Primeiro, um array $configs é definido, que define algumas informações sobre o site a ser rastreado. Em seguida, ele é configurado e configurado chamando $spider = new phpspider($configs); $spider->start(); Inicia o rastreador.