SerpScrap下载 - SerpScrap源码下载

SerpScrap

其他源码

0.13.0

下载

丝网废料

SEO python scraper 从主要搜索引擎结果页面提取数据。从给定关键字的搜索结果中提取 url、标题、片段、richsnippet 等数据和类型。检测广告或自动截图。您还可以获取搜索结果中或您自己提供的网址的文本内容。它对于 SEO 和业务相关的研究任务很有用。

提取这些结果类型

ads_main - 常规搜索结果中的广告
image - 图像搜索的结果
新闻 - 常规搜索结果中的新闻预告片
结果 - 标准搜索结果
购物 - 常规搜索结果中的购物预告片
视频 - 常规搜索结果中的视频预告片

对于结果页的每个结果获取

领域
秩
丰富的片段
站点链接
片段
标题
类型
网址
可见网址

还可以获取每个结果页面的屏幕截图。您还可以抓取每个结果网址的文本内容。还可以将结果保存为 CSV 以供将来分析。如果需要，您还可以使用自己的代理列表。

资源

请参阅 http://serpscrap.readthedocs.io/en/latest/ 以获取文档。

来源可在 https://github.com/ecoron/SerpScrap 获取

安装

简单的方法：

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

更多详细信息，请参阅文档的安装 [1] 部分。

用法

您的应用程序中的 SerpScrap

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

更多详细信息请参见文档的示例 [2] 部分。

为了避免编码/解码问题，请在 cli 中开始使用 SerpScrap 之前使用此命令。

chcp 65001
set PYTHONIOENCODING=utf-8

支持的操作系统

SerpScrap 应该可以在安装了 Python >= 3.4 的 Linux、Windows 和 Mac OS 上运行
SerpScrap 需要 lxml
不适用于 iOS

变化

有关版本之间主要变化的说明

0.13.0

更新的依赖项：chromedriver >= 76.0.3809.68 使用实际驱动程序，sqlalchemy>=1.3.7 解决安全问题和其他小的更新更改
小改动 install_chrome.sh

0.12.0

我建议更新到最新版本的SerpScrap，因为搜索引擎已经更新了搜索结果页面（serp）的标记

更新和清理选择器以获取结果
新结果类型视频

0.11.0

Chrome headless 现在是默认浏览器，不推荐使用 phantomJS
chromedriver 在第一次运行时安装（在 Linux 和 Windows 上测试。Mac OS 也应该可以工作）
从 serp url（当然还有给定的 url）中抓取原始文本内容的行为已经改变
立即抓取 serp 结果和内容
csv 输出格式已更改，现在是制表符分隔并引用

0.10.0

支持无头镀铬，调整刮擦之间的默认时间

0.9.0

添加了结果类型（新闻、购物、图像）
支持图片搜索

0.8.0

删除了文本处理工具。
要求较少

参考

SerpScrap 使用 Chrome headless [3] 和 lxml [4] 来抓取 serp 结果。对于获取的 URL 的原始文本内容，它使用 beautifulsoup4 [5] 。 SerpScrap 还支持 PhantomJs [6]（已弃用），它是一个可编写脚本的无头 WebKit，在首次运行时自动安装（Linux、Windows）。 scrapcore基于GoogleScraper [7]，一个过时的项目，并且有许多变化和改进。