SerpScrap

SerpScrap

เครื่องมือขูด SEO python เพื่อดึงข้อมูลจากหน้าผลลัพธ์ของเครื่องมือค้นหาหลัก แยกข้อมูล เช่น url, ชื่อ, ตัวอย่างข้อมูล, ตัวอย่างข้อมูลสมบูรณ์ และประเภทจากผลการค้นหาสำหรับคำหลักที่กำหนด ตรวจจับโฆษณาหรือสร้างภาพหน้าจออัตโนมัติ คุณยังสามารถดึงเนื้อหาข้อความของ URL ที่ให้ไว้ในผลการค้นหาหรือของคุณเองได้ มีประโยชน์สำหรับ SEO และงานวิจัยที่เกี่ยวข้องกับธุรกิจ

แยกประเภทผลลัพธ์เหล่านี้

• ads_main - โฆษณาภายในผลการค้นหาปกติ
• รูปภาพ - ผลลัพธ์จากการค้นหารูปภาพ
• ข่าว - ทีเซอร์ข่าวภายในผลการค้นหาปกติ
• ผลลัพธ์ - ผลการค้นหามาตรฐาน
• ช้อปปิ้ง - ทีเซอร์ช้อปปิ้งภายในผลการค้นหาปกติ
• วิดีโอ - วิดีโอทีเซอร์ภายในผลการค้นหาปกติ

สำหรับแต่ละผลลัพธ์ของหน้าผลลัพธ์ที่ได้รับ

• โดเมน
• อันดับ
• ตัวอย่างข้อมูลสื่อสมบูรณ์
• ลิงค์เว็บไซต์
• ตัวอย่าง
• ชื่อ
• พิมพ์
• URL
• URL ที่มองเห็นได้

รับภาพหน้าจอของแต่ละหน้าผลลัพธ์ด้วย คุณยังสามารถขูดเนื้อหาข้อความของ URL ผลลัพธ์แต่ละรายการได้ นอกจากนี้ยังสามารถบันทึกผลลัพธ์เป็น CSV เพื่อการวิเคราะห์ในอนาคตได้อีกด้วย หากจำเป็น คุณยังสามารถใช้รายการพรอกซีของคุณเองได้

ทรัพยากร

ดูhttp://serpscrap.readthedocs.io/en/latest/สำหรับเอกสารประกอบ

ดูแหล่งที่มาได้ที่ https://github.com/ecoron/SerpScrap

ติดตั้ง

วิธีทำง่ายๆ:

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

รายละเอียดเพิ่มเติมในส่วนการติดตั้ง [1] ของเอกสารประกอบ

การใช้งาน

SerpScrap ในแอปพลิเคชันของคุณ

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

รายละเอียดเพิ่มเติมในส่วนตัวอย่าง [2] ของเอกสารประกอบ

เพื่อหลีกเลี่ยงปัญหาการเข้ารหัส/ถอดรหัส ให้ใช้คำสั่งนี้ก่อนที่คุณจะเริ่มใช้ SerpScrap ใน cli ของคุณ

chcp 65001
set PYTHONIOENCODING=utf-8

ระบบปฏิบัติการที่รองรับ

• SerpScrap ควรทำงานบน Linux, Windows และ Mac OS ที่ติดตั้ง Python >= 3.4
• SerpScrap ต้องใช้ lxml
• ใช้งานไม่ได้บน iOS

การเปลี่ยนแปลง

หมายเหตุเกี่ยวกับการเปลี่ยนแปลงที่สำคัญระหว่างการเปิดตัว

0.13.0

• การอ้างอิงที่อัปเดต: chromedriver >= 76.0.3809.68 เพื่อใช้ไดรเวอร์จริง sqlalchemy>=1.3.7 เพื่อแก้ไขปัญหาด้านความปลอดภัยและการเปลี่ยนแปลงการอัปเดตเล็กน้อยอื่น ๆ
• การเปลี่ยนแปลงเล็กน้อย install_chrome.sh

0.12.0

ฉันแนะนำให้อัปเดต SerpScrap เวอร์ชันล่าสุด เนื่องจากเครื่องมือค้นหาได้อัปเดตมาร์กอัปของหน้าผลการค้นหา (serp)

• อัปเดตและล้างตัวเลือกเพื่อดึงผลลัพธ์
• วิดีโอประเภทผลลัพธ์ใหม่

0.11.0

• Chrome headless เป็นเบราว์เซอร์เริ่มต้นแล้ว การใช้งาน phantomJS เลิกใช้แล้ว
• ติดตั้ง chromedriver ในการรันครั้งแรก (ทดสอบบน Linux และ Windows Mac OS ควรใช้งานได้เช่นกัน)
• พฤติกรรมการคัดลอกเนื้อหาข้อความดิบจาก URL ของ serp และแน่นอนว่า URL ที่กำหนดมีการเปลี่ยนแปลง
• ทำการขูดผลลัพธ์และเนื้อหา serp พร้อมกัน
• รูปแบบเอาต์พุต csv เปลี่ยนไป ตอนนี้แท็บถูกแยกและยกมา

0.10.0

• รองรับ Chrome แบบไม่มีหัว ปรับเวลาเริ่มต้นระหว่างรอยขูด

0.9.0

• เพิ่มประเภทผลลัพธ์ (ข่าว, ช้อปปิ้ง, รูปภาพ)
• รองรับการค้นหารูปภาพ

0.8.0

• เครื่องมือประมวลผลข้อความถูกลบออก
• ข้อกำหนดน้อยลง

อ้างอิง

SerpScrap ใช้ Chrome headless [3] และ lxml [4] เพื่อขูดผลลัพธ์ serp สำหรับเนื้อหาข้อความดิบของ URL ที่ดึงมานั้นจะใช้ beautifulsoup4 [5] SerpScrap ยังรองรับ PhantomJs [6] ซึ่งเลิกใช้แล้ว ซึ่งเป็น WebKit แบบไม่มีสคริปต์ที่สามารถเขียนสคริปต์ได้ ซึ่งติดตั้งโดยอัตโนมัติในการรันครั้งแรก (Linux, Windows) เรื่องที่สนใจมีพื้นฐานมาจาก GoogleScraper [7] ซึ่งเป็นโครงการที่ล้าสมัย และมีการเปลี่ยนแปลงและปรับปรุงมากมาย

[1]	http://serpscrap.readthedocs.io/en/latest/install.html

[2]	http://serpscrap.readthedocs.io/en/latest/examples.html

[3]	http://chromedriver.chromium.org/

[4]	https://lxml.de/

[5]	https://www.crummy.com/software/BeautifulSoup/

[6]	https://github.com/ariya/phantomjs

[7]	https://github.com/NikolaiT/GoogleScraper