SerpScrapダウンロード - SerpScrapソースコードのダウンロード

SerpScrap

その他のソースコード

0.13.0

ダウンロード

サープスクラップ

主要な検索エンジンの結果ページからデータを抽出する SEO Python スクレーパー。指定されたキーワードの検索結果から、URL、タイトル、スニペット、リッチスニペット、タイプなどのデータを抽出します。広告を検出したり、自動スクリーンショットを作成したりできます。検索結果で提供された URL または独自の URL のテキストコンテンツを取得することもできます。 SEO やビジネス関連の調査タスクに役立ちます。

これらの結果タイプを抽出します

ads_main - 通常の検索結果内の広告
画像 - 画像検索の結果
ニュース - 通常の検索結果内のニュースティーザー
結果 - 標準の検索結果
ショッピング - 通常の検索結果内のショッピングティーザー
ビデオ - 通常の検索結果内のビデオティーザー

結果ページの結果ごとに取得

ドメイン
ランク
リッチスニペット
サイトリンク
スニペット
タイトル
タイプ
URL
表示される URL

各結果ページのスクリーンショットも取得します。各結果 URL のテキストコンテンツをスクレイピングすることもできます。今後の分析のために結果を CSV として保存することもできます。必要に応じて、独自のプロキシリストを使用することもできます。

リソース

ドキュメントについては、http://serpscrap.readthedocs.io/en/latest/ を参照してください。

ソースは https://github.com/ecoron/SerpScrap で入手できます。

インストール

簡単な方法:

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

詳細については、ドキュメントのインストール [1] セクションを参照してください。

使用法

アプリケーション内の SerpScrap

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

詳細については、ドキュメントの例 [2] セクションを参照してください。

エンコード/デコードの問題を回避するには、CLI で SerpScrap の使用を開始する前にこのコマンドを使用します。

chcp 65001
set PYTHONIOENCODING=utf-8

対応OS

SerpScrap は、Python 3.4 以上がインストールされている Linux、Windows、および Mac OS で動作する必要があります。
SerpScrap には lxml が必要です
iOSでは動作しません

変更点

リリース間の大きな変更点に関する注意事項

0.13.0

更新された依存関係: 実際のドライバーを使用する場合は chromedriver >= 76.0.3809.68、セキュリティ問題とその他のマイナーなアップデート変更を解決する場合は sqlalchemy >= 1.3.7
マイナーな変更 install_chrome.sh

0.12.0

検索エンジンが検索結果ページ (serp) のマークアップを更新したため、SerpScrap の最新バージョンに更新することをお勧めします。

結果を取得するためのセレクターの更新とクリーンアップ
新しい結果タイプのビデオ

0.11.0

Chrome ヘッドレスがデフォルトのブラウザになり、phantomJS の使用は非推奨になりました
chromedriver は最初の実行時にインストールされます (Linux と Windows でテスト済み。Mac OS も動作するはずです)
Serp URL、そしてもちろん指定された URL から生のテキストコンテンツをスクレイピングする動作が変更されました
Serpの結果とコンテンツのスクレイピングを一度に実行する
CSV 出力形式が変更され、タブ区切りで引用符で囲まれるようになりました。

0.10.0

ヘッドレスクロムのサポート、スクレイピング間のデフォルト時間の調整

0.9.0

結果タイプの追加 (ニュース、ショッピング、画像)
画像検索がサポートされています

0.8.0

テキスト処理ツールが削除されました。
要件が少なくなる

参考文献

SerpScrap は Chrome headless [3] と lxml [4] を使用して serp 結果をスクレイピングしています。取得した URL の生のテキスト内容については、 beautifulsoup4 [5] を使用します。 SerpScrap は、非推奨となったスクリプト可能なヘッドレス WebKit である PhantomJs [6] もサポートしており、最初の実行 (Linux、Windows) で自動的にインストールされます。スクラップコアは、古いプロジェクトである GoogleScraper [7] に基づいており、多くの変更と改善が加えられています。