SerpScrap

SerpScrap

Scraper python SEO untuk mengekstrak data dari halaman hasil mesin pencari utama. Ekstrak data seperti url, judul, cuplikan, cuplikan kaya, dan jenis dari hasil pencarian untuk kata kunci tertentu. Deteksi Iklan atau buat tangkapan layar otomatis. Anda juga dapat mengambil konten teks dari url yang disediakan dalam hasil pencarian atau milik Anda sendiri. Ini berguna untuk tugas penelitian terkait SEO dan bisnis.

Ekstrak jenis hasil ini

• ads_main - iklan dalam hasil pencarian reguler
• gambar - hasil pencarian gambar
• berita - penggoda berita dalam hasil pencarian reguler
• hasil - hasil pencarian standar
• belanja - penggoda belanja dalam hasil pencarian reguler
• video - penggoda video dalam hasil pencarian reguler

Untuk setiap hasil yang didapat halaman hasil

• domain
• pangkat
• cuplikan kaya
• tautan situs
• potongan
• judul
• jenis
• url
• url terlihat

Dapatkan juga tangkapan layar dari setiap halaman hasil. Anda juga dapat mengikis konten teks dari setiap url hasil. Hasil juga dapat disimpan sebagai CSV untuk analisis di masa mendatang. Jika diperlukan, Anda juga dapat menggunakan daftar proxy Anda sendiri.

Sumber daya

Lihat http://serpscrap.readthedocs.io/en/latest/ untuk dokumentasi.

Sumber tersedia di https://github.com/ecoron/SerpScrap

Memasang

Cara mudahnya:

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

Detail lebih lanjut di bagian instal [1] pada dokumentasi.

Penggunaan

SerpScrap di aplikasi Anda

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

Lebih detailnya ada di bagian contoh [2] pada dokumentasi.

Untuk menghindari masalah encode/decode gunakan perintah ini sebelum Anda mulai menggunakan SerpScrap di cli Anda.

chcp 65001
set PYTHONIOENCODING=utf-8

OS yang didukung

• SerpScrap harus bekerja di Linux, Windows dan Mac OS dengan menginstal Python >= 3.4
• SerpScrap membutuhkan lxml
• Tidak berfungsi di iOS

Perubahan

Catatan tentang perubahan besar antar rilis

0.13.0

• dependensi yang diperbarui: chromedriver >= 76.0.3809.68 untuk menggunakan driver aktual, sqlalchemy>=1.3.7 untuk menyelesaikan masalah keamanan dan perubahan pembaruan kecil lainnya
• perubahan kecil install_chrome.sh

0.12.0

Saya merekomendasikan pembaruan SerpScrap ke versi terbaru, karena mesin pencari telah memperbarui markup halaman hasil pencarian (serp)

• Perbarui dan bersihkan penyeleksi untuk mengambil hasil
• video tipe hasil baru

0.11.0

• Chrome headless kini menjadi browser default, penggunaan phantomJS tidak digunakan lagi
• chromedriver diinstal saat pertama kali dijalankan (diuji di Linux dan Windows. Mac OS juga dapat berfungsi)
• perilaku mengambil konten teks mentah dari url serp, dan tentu saja url yang diberikan, telah berubah
• jalankan scraping hasil serp dan isinya sekaligus
• format keluaran csv diubah, sekarang tab dipisahkan dan dikutip

0.10.0

• dukungan untuk krom tanpa kepala, waktu default yang disesuaikan antar goresan

0.9.0

• jenis hasil ditambahkan (berita, belanja, gambar)
• Pencarian gambar didukung

0.8.0

• alat pengolah teks dihapus.
• persyaratan yang lebih sedikit

Referensi

SerpScrap menggunakan Chrome headless [3] dan lxml [4] untuk mengikis hasil serp. Untuk konten teks mentah dari URL yang diambil, menggunakan beautifulsoup4 [5] . SerpScrap juga mendukung PhantomJs [6] , yang sudah tidak digunakan lagi, WebKit tanpa kepala yang dapat skrip, yang diinstal secara otomatis saat pertama kali dijalankan (Linux, Windows). Scrapcore didasarkan pada GoogleScraper [7] , sebuah proyek yang ketinggalan jaman, dan memiliki banyak perubahan dan peningkatan.

[1]	http://serpscrap.readthedocs.io/en/latest/install.html

[2]	http://serpscrap.readthedocs.io/en/latest/examples.html

[3]	http://chromedriver.chromium.org/

[4]	https://lxml.de/

[5]	https://www.crummy.com/software/BeautifulSoup/

[6]	https://github.com/ariya/phantomjs

[7]	https://github.com/NikolaiT/GoogleScraper