SerpScrap

СерпСкрап

SEO-скребок Python для извлечения данных из основных страниц результатов поисковых систем. Извлекайте данные, такие как URL-адрес, заголовок, фрагмент, расширенный фрагмент и тип, из результатов поиска по заданным ключевым словам. Обнаруживайте рекламу или делайте автоматические снимки экрана. Вы также можете получить текстовое содержимое URL-адресов, предоставленных в результатах поиска или собственных. Это полезно для исследовательских задач, связанных с SEO и бизнесом.

Извлеките эти типы результатов

• ads_main — реклама в обычных результатах поиска.
• изображение — результат поиска изображений
• новости - тизер новостей в обычных результатах поиска
• результаты - стандартный результат поиска
• Шоппинг - тизер покупок в обычных результатах поиска
• видео — видео-тизер в обычных результатах поиска

Для каждого результата на странице результатов получите

• домен
• классифицировать
• расширенный фрагмент
• ссылки на сайты
• фрагмент
• заголовок
• тип
• URL
• видимый URL

Также получите скриншот каждой страницы результатов. Вы также можете очистить текстовое содержимое каждого URL-адреса результата. Также возможно сохранить результаты в формате CSV для будущей аналитики. При необходимости вы также можете использовать свой собственный список прокси.

Ресурсы

См. документацию по адресу http://serpscrap.readthedocs.io/en/latest/.

Исходный код доступен по адресу https://github.com/ecoron/SerpScrap.

Установить

Простой способ сделать:

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

Более подробную информацию можно найти в разделе установки [1] документации.

Использование

SerpScrap в ваших приложениях

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

Более подробно в разделе примеров [2] документации.

Чтобы избежать проблем с кодированием/декодированием, используйте эту команду, прежде чем начать использовать SerpScrap в своем командном интерфейсе.

chcp 65001
set PYTHONIOENCODING=utf-8

Поддерживаемая ОС

• SerpScrap должен работать в Linux, Windows и Mac OS с установленным Python >= 3.4.
• SerpScrap требует lxml
• Не работает на iOS

Изменения

Примечания об основных изменениях между выпусками

0.13.0

• обновленные зависимости: chromedriver >= 76.0.3809.68 для использования фактического драйвера, sqlalchemy>=1.3.7 для решения проблем безопасности и других незначительных изменений обновления.
• небольшие изменения install_chrome.sh

0.12.0

Рекомендую обновить SerpScrap до последней версии, так как поисковая система обновила разметку страниц результатов поиска(serp)

• Обновление и очистка селекторов для получения результатов
• новые видео с типами результатов

0.11.0

• Chrome Headless теперь является браузером по умолчанию, использование phantomJS устарело.
• chromedriver устанавливается при первом запуске (проверено на Linux и Windows. Mac OS также должна работать)
• поведение очистки необработанного текстового содержимого из URL-адресов результатов поиска и, конечно же, из заданных URL-адресов изменилось
• запустить парсинг результатов и содержимого поисковой системы одновременно
• Формат вывода csv изменен, теперь он разделен табуляцией и заключен в кавычки

0.10.0

• поддержка Headless Chrome, скорректировано время по умолчанию между очистками

0.9.0

• добавлены типы результатов (новости, покупки, изображения)
• Поддерживается поиск изображений

0.8.0

• инструменты обработки текста удалены.
• меньше требований

Ссылки

SerpScrap использует Chrome headless [3] и lxml [4] для очистки результатов поисковой выдачи. Для необработанного текстового содержимого полученных URL-адресов используется beautifulsoup4 [5] . SerpScrap также поддерживает PhantomJs [6], который устарел, безголовый WebKit с поддержкой сценариев, который устанавливается автоматически при первом запуске (Linux, Windows). Scrapcore был основан на устаревшем проекте GoogleScraper [7] и имеет множество изменений и улучшений.

[1]	http://serpscrap.readthedocs.io/en/latest/install.html

[2]	http://serpscrap.readthedocs.io/en/latest/examples.html

[3]	http://chromedriver.chromium.org/

[4]	https://lxml.de/

[5]	https://www.crummy.com/software/BeautifulSoup/

[6]	https://github.com/ariya/phantomjs

[7]	https://github.com/NikolaiT/GoogleScraper