SerpScrap

SerpScrap

Raspador SEO python para extrair dados das principais páginas de resultados dos mecanismos de pesquisa. Extraia dados como URL, título, snippet, richsnippet e o tipo dos resultados da pesquisa para determinadas palavras-chave. Detecte anúncios ou faça capturas de tela automatizadas. Você também pode buscar conteúdo de texto de URLs fornecidos nos resultados da pesquisa ou por conta própria. É útil para tarefas de pesquisa relacionadas a SEO e negócios.

Extraia esses tipos de resultados

• ads_main - anúncios nos resultados de pesquisa regulares
• imagem - resultado da pesquisa de imagens
• notícias - teaser de notícias nos resultados de pesquisa regulares
• resultados - resultado de pesquisa padrão
• compras - teaser de compras nos resultados de pesquisa regulares
• vídeos - teaser de vídeo nos resultados de pesquisa regulares

Para cada resultado de uma página de resultados, obtenha

• domínio
• classificação
• trecho rico
• links de sites
• trecho
• título
• tipo
• url
• URL visível

Obtenha também uma captura de tela de cada página de resultados. Você também pode copiar o conteúdo do texto de cada URL de resultado. Também é possível salvar os resultados como CSV para análises futuras. Se necessário, você também pode usar sua própria lista de proxy.

Recursos

Consulte http://serpscrap.readthedocs.io/en/latest/ para documentação.

A fonte está disponível em https://github.com/ecoron/SerpScrap

Instalar

A maneira fácil de fazer:

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

Mais detalhes na seção install [1] da documentação.

Uso

SerpScrap em suas aplicações

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

Mais detalhes na seção de exemplos [2] da documentação.

Para evitar problemas de codificação/decodificação, use este comando antes de começar a usar o SerpScrap em seu cli.

chcp 65001
set PYTHONIOENCODING=utf-8

SO compatível

• SerpScrap deve funcionar em Linux, Windows e Mac OS com Python instalado >= 3.4
• SerpScrap requer lxml
• Não funciona no iOS

Mudanças

Notas sobre grandes mudanças entre lançamentos

0.13.0

• dependências atualizadas: chromedriver >= 76.0.3809.68 para usar o driver real, sqlalchemy>=1.3.7 para resolver problemas de segurança e outras pequenas alterações de atualização
• pequenas alterações install_chrome.sh

0.12.0

Recomendo uma atualização para a versão mais recente do SerpScrap, pois o buscador atualizou a marcação das páginas de resultados de busca(serp)

• Atualização e limpeza de seletores para buscar resultados
• novos vídeos de tipo de resultado

0.11.0

• Chrome headless agora é o navegador padrão, o uso de phantomJS está obsoleto
• O chromedriver é instalado na primeira execução (testado em Linux e Windows. Mac OS também deve funcionar)
• o comportamento de extrair conteúdo de texto bruto de URLs de serp e, claro, de determinados URLs, mudou
• execute a raspagem dos resultados e conteúdos do serp de uma só vez
• formato de saída csv alterado, agora é separado por tabulação e citado

0.10.0

• suporte para cromo sem cabeça, tempo padrão ajustado entre arranhões

0.9.0

• tipos de resultados adicionados (notícias, compras, imagem)
• A pesquisa de imagens é suportada

0.8.0

• ferramentas de processamento de texto removidas.
• menos requisitos

Referências

SerpScrap está usando Chrome headless [3] e lxml [4] para extrair resultados de serp. Para conteúdo de texto bruto de URLs buscados, use beautifulsoup4 [5] . SerpScrap também suporta PhantomJs [6], que está obsoleto, um WebKit sem cabeça e programável, que é instalado automaticamente na primeira execução (Linux, Windows). O scrapcore foi baseado no GoogleScraper [7] , um projeto desatualizado, e que possui muitas mudanças e melhorias.

[1]	http://serpscrap.readthedocs.io/en/latest/install.html

[2]	http://serpscrap.readthedocs.io/en/latest/examples.html

[3]	http://chromedriver.chromium.org/

[4]	https://lxml.de/

[5]	https://www.crummy.com/software/BeautifulSoup/

[6]	https://github.com/ariya/phantomjs

[7]	https://github.com/NikolaiT/GoogleScraper