الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

سيرب سكراب

مكشطة SEO python لاستخراج البيانات من صفحات نتائج محركات البحث الرئيسية. قم باستخراج البيانات مثل عنوان url والعنوان والمقتطف والمقتطف المنسق والنوع من نتائج البحث للكلمات الرئيسية المحددة. اكتشف الإعلانات أو قم بعمل لقطات شاشة تلقائية. يمكنك أيضًا جلب المحتوى النصي لعناوين URL المتوفرة في نتائج البحث أو بنفسك. إنه مفيد لتحسين محركات البحث والمهام البحثية المتعلقة بالأعمال.

استخراج هذه الأنواع من النتائج

  • Ads_main - إعلانات ضمن نتائج البحث العادية
  • صورة - نتيجة للبحث عن الصور
  • الأخبار - إعلان تشويقي للأخبار ضمن نتائج البحث العادية
  • النتائج - نتيجة البحث القياسية
  • التسوق - إعلان تشويقي للتسوق ضمن نتائج البحث العادية
  • مقاطع الفيديو - فيديو تشويقي ضمن نتائج البحث العادية

لكل نتيجة من صفحة النتائج الحصول على

  • اِختِصاص
  • رتبة
  • مقتطف غني
  • روابط الموقع
  • مقتطف
  • عنوان
  • يكتب
  • عنوان URL
  • عنوان URL المرئي

احصل أيضًا على لقطة شاشة لكل صفحة نتائج. يمكنك أيضًا استخراج المحتوى النصي لكل عنوان URL للنتيجة. من الممكن أيضًا حفظ النتائج كملف CSV للتحليلات المستقبلية. إذا لزم الأمر، يمكنك أيضًا استخدام قائمة الوكيل الخاصة بك.

الموارد

راجع http://serpscrap.readthedocs.io/en/latest/ للحصول على الوثائق.

المصدر متاح على https://github.com/ecoron/SerpScrap

ثَبَّتَ

الطريقة السهلة للقيام بذلك: 

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

مزيد من التفاصيل في قسم التثبيت [1] من الوثائق.

الاستخدام

SerpScrap في تطبيقاتك 

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

مزيد من التفاصيل في قسم الأمثلة [2] من الوثائق.

لتجنب مشكلات التشفير/فك التشفير، استخدم هذا الأمر قبل البدء في استخدام SerpScrap في cli. 

chcp 65001
set PYTHONIOENCODING=utf-8

نظام التشغيل المدعوم

  • يجب أن يعمل SerpScrap على أنظمة Linux وWindows وMac OS مع إصدار Python المثبت >= 3.4
  • يتطلب SerpScrap ملف lxml
  • لا يعمل على نظام iOS

التغييرات

ملاحظات حول التغييرات الرئيسية بين الإصدارات

0.13.0

  • التبعيات المحدثة: chromedriver >= 76.0.3809.68 لاستخدام برنامج التشغيل الفعلي، sqlalchemy>=1.3.7 لحل مشكلات الأمان وتغييرات التحديث الطفيفة الأخرى
  • تغييرات طفيفة install_chrome.sh

0.12.0

أوصي بالتحديث إلى أحدث إصدار من SerpScrap، لأن محرك البحث قام بتحديث ترميز صفحات نتائج البحث (serp)

  • تحديث وتنظيف المحددات لجلب النتائج
  • مقاطع فيديو جديدة من نوع النتائج

0.11.0

  • أصبح Chrome Headless الآن هو المتصفح الافتراضي، وتم إيقاف استخدام phantomJS
  • يتم تثبيت برنامج chromedriver عند التشغيل الأول (تم اختباره على نظامي التشغيل Linux وWindows. ويجب أن يعمل نظام التشغيل Mac OS أيضًا)
  • لقد تغير سلوك استخراج محتويات النص الخام من عناوين url serp، وبالطبع عناوين url المحددة
  • تشغيل تجريف نتائج ومحتويات serp مرة واحدة
  • تم تغيير تنسيق إخراج csv، والآن تم فصل علامة التبويب وعلامات الاقتباس

0.10.0

  • دعم الكروم مقطوعة الرأس، وضبط الوقت الافتراضي بين الخدوش

0.9.0

  • أنواع النتائج المضافة (أخبار، تسوق، صورة)
  • يتم دعم البحث عن الصور

0.8.0

  • تمت إزالة أدوات معالجة النص.
  • متطلبات أقل

مراجع

يستخدم SerpScrap Chrome بدون رأس [3] وlxml [4] لاستخراج نتائج serp. بالنسبة لمحتويات النص الخام لعناوين URL التي تم جلبها، يتم استخدام beautifulsoup4 [5] . يدعم SerpScrap أيضًا PhantomJs [6]، الذي تم إهماله، وهو WebKit بدون رأس قابل للبرمجة، والذي يتم تثبيته تلقائيًا عند التشغيل الأول (Linux، Windows). كان سكرابكور مبنيًا على GoogleScraper [7]، وهو مشروع قديم، ويحتوي على العديد من التغييرات والتحسينات.

[1] http://serpscrap.readthedocs.io/en/latest/install.html
[2] http://serpscrap.readthedocs.io/en/latest/examples.html
[3] http://chromedriver.chromium.org/
[4] https://lxml.de/
[5] https://www.crummy.com/software/BeautifulSoup/
[6] https://github.com/ariya/phantomjs
[7] https://github.com/NikolaiT/GoogleScraper
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل