SerpScrap

SerpScrap

SEO-Python-Scraper zum Extrahieren von Daten aus den Ergebnisseiten wichtiger Suchmaschinen. Extrahieren Sie Daten wie URL, Titel, Snippet, RichSnippet und den Typ aus Suchergebnissen für bestimmte Schlüsselwörter. Erkennen Sie Werbung oder erstellen Sie automatisierte Screenshots. Sie können auch Textinhalte von URLs abrufen, die in Suchergebnissen oder von Ihren eigenen URLs bereitgestellt werden. Es ist nützlich für SEO- und geschäftsbezogene Forschungsaufgaben.

Extrahieren Sie diese Ergebnistypen

• ads_main – Anzeigen in regulären Suchergebnissen
• Bild – Ergebnis der Bildsuche
• Nachrichten – Nachrichten-Teaser in regulären Suchergebnissen
• Ergebnisse - Standardsuchergebnis
• Einkaufen – Shopping-Teaser innerhalb der regulären Suchergebnisse
• Videos – Video-Teaser in regulären Suchergebnissen

Für jedes Ergebnis einer Ergebnisseite get

• Domain
• Rang
• Rich Snippet
• Website-Links
• Ausschnitt
• Titel
• Typ
• URL
• sichtbare URL

Erhalten Sie außerdem einen Screenshot jeder Ergebnisseite. Sie können auch den Textinhalt jeder Ergebnis-URL scrapen. Es ist auch möglich, die Ergebnisse für zukünftige Analysen als CSV zu speichern. Bei Bedarf können Sie auch Ihre eigene Proxyliste verwenden.

Ressourcen

Dokumentation finden Sie unter http://serpscrap.readthedocs.io/en/latest/.

Die Quelle ist verfügbar unter https://github.com/ecoron/SerpScrap

Installieren

Der einfache Weg:

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

Weitere Details finden Sie im Abschnitt „Installation“ [1] der Dokumentation.

Verwendung

SerpScrap in Ihren Anwendungen

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

Weitere Einzelheiten finden Sie im Abschnitt Beispiele [2] der Dokumentation.

Um Kodierungs-/Dekodierungsprobleme zu vermeiden, verwenden Sie diesen Befehl, bevor Sie SerpScrap in Ihrer CLI verwenden.

chcp 65001
set PYTHONIOENCODING=utf-8

Unterstütztes Betriebssystem

• SerpScrap sollte unter Linux, Windows und Mac OS mit installiertem Python >= 3.4 funktionieren
• SerpScrap benötigt lxml
• Funktioniert nicht unter iOS

Änderungen

Hinweise zu wesentlichen Änderungen zwischen den Veröffentlichungen

0,13,0

• Aktualisierte Abhängigkeiten: chromedriver >= 76.0.3809.68 zur Verwendung des tatsächlichen Treibers, sqlalchemy>=1.3.7 zur Behebung von Sicherheitsproblemen und anderen kleineren Update-Änderungen
• Kleinere Änderungen install_chrome.sh

0,12,0

Ich empfehle ein Update auf die neueste Version von SerpScrap, da die Suchmaschine das Markup der Suchergebnisseiten (serp) aktualisiert hat.

• Aktualisierung und Bereinigung der Selektoren zum Abrufen von Ergebnissen
• Neue Ergebnistyp-Videos

0,11,0

• Chrome Headless ist jetzt der Standardbrowser, die Verwendung von PhantomJS ist veraltet
• chromedriver wird beim ersten Start installiert (getestet unter Linux und Windows. Mac OS sollte auch funktionieren)
• Das Verhalten beim Scraping von Rohtextinhalten aus Serp-URLs und natürlich auch aus gegebenen URLs hat sich geändert
• Führen Sie das Scraping der Serp-Ergebnisse und -Inhalte gleichzeitig durch
• Das CSV-Ausgabeformat wurde geändert, jetzt ist es durch Tabulatoren getrennt und in Anführungszeichen gesetzt

0,10,0

• Unterstützung für Headless Chrome, angepasste Standardzeit zwischen Scrapes

0.9.0

• Ergebnistypen hinzugefügt (News, Shopping, Bild)
• Die Bildsuche wird unterstützt

0,8,0

• Textverarbeitungstools entfernt.
• weniger Anforderungen

Referenzen

SerpScrap verwendet Chrome Headless [3] und lxml [4], um Serp-Ergebnisse zu scrapen. Für Rohtextinhalte abgerufener URLs wird beautifulsoup4 [5] verwendet. SerpScrap unterstützt auch das veraltete PhantomJs [6], ein skriptfähiges Headless-WebKit, das beim ersten Start automatisch installiert wird (Linux, Windows). Der Scrapcore basierte auf GoogleScraper [7], einem veralteten Projekt, und weist viele Änderungen und Verbesserungen auf.

[1]	http://serpscrap.readthedocs.io/en/latest/install.html

[2]	http://serpscrap.readthedocs.io/en/latest/examples.html

[3]	http://chromedriver.chromium.org/

[4]	https://lxml.de/

[5]	https://www.crummy.com/software/BeautifulSoup/

[6]	https://github.com/ariya/phantomjs

[7]	https://github.com/NikolaiT/GoogleScraper