SerpScrap 다운로드 - SerpScrap 소스 코드 다운로드

SerpScrap

기타 소스코드

0.13.0

다운로드

SerpScrap

주요 검색 엔진 결과 페이지에서 데이터를 추출하는 SEO Python 스크레이퍼입니다. 특정 키워드에 대한 검색결과에서 URL, 제목, 스니펫, 리치스니펫 및 유형과 같은 데이터를 추출합니다. 광고를 감지하거나 자동화된 스크린샷을 만드세요. 검색결과 또는 직접 제공한 URL의 텍스트 콘텐츠를 가져올 수도 있습니다. SEO 및 비즈니스 관련 연구 작업에 유용합니다.

다음 결과 유형 추출

Ads_main - 일반 검색결과 내의 광고
이미지 - 이미지 검색 결과
뉴스 - 일반 검색결과 내의 뉴스 티저
결과 - 표준 검색결과
쇼핑 - 일반 검색결과 내 쇼핑 티저
동영상 - 일반 검색결과 내의 동영상 티저

결과 페이지의 각 결과에 대해

도메인
계급
리치 스니펫
사이트 링크
단편
제목
유형
URL
보이는 URL

또한 각 결과 페이지의 스크린샷을 받으세요. 각 결과 URL의 텍스트 내용을 긁을 수도 있습니다. 향후 분석을 위해 결과를 CSV로 저장할 수도 있습니다. 필요한 경우 자체 프록시 목록을 사용할 수도 있습니다.

자원

문서는 http://serpscrap.readthedocs.io/en/latest/를 참조하세요.

소스는 https://github.com/ecoron/SerpScrap에서 확인할 수 있습니다.

설치하다

쉬운 방법은 다음과 같습니다.

 pip uninstall SerpScrap - y
pip install SerpScrap - - upgrade

자세한 내용은 설명서의 설치 [1] 섹션을 참조하세요.

용법

애플리케이션의 SerpScrap

 #!/usr/bin/python3
 # -*- coding: utf-8 -*-
 import pprint
 import serpscrap

 keywords = [ 'example' ]

 config = serpscrap . Config ()
 config . set ( 'scrape_urls' , False )

 scrap = serpscrap . SerpScrap ()
 scrap . init ( config = config . get (), keywords = keywords )
results = scrap . run ()

 for result in results :
     pprint . pprint ( result )

자세한 내용은 설명서의 예제 [2] 섹션을 참조하세요.

인코딩/디코딩 문제를 방지하려면 cli에서 SerpScrap 사용을 시작하기 전에 이 명령을 사용하십시오.

chcp 65001
set PYTHONIOENCODING=utf-8

지원되는 OS

SerpScrap은 Python >= 3.4가 설치된 Linux, Windows 및 Mac OS에서 작동해야 합니다.
SerpScrap에는 lxml이 필요합니다.
iOS에서는 작동하지 않습니다

변경 사항

릴리스 간의 주요 변경 사항에 대한 참고 사항

0.13.0

업데이트된 종속성: 실제 드라이버를 사용하려면 chromedriver >= 76.0.3809.68, 보안 문제 및 기타 사소한 업데이트 변경 사항을 해결하려면 sqlalchemy>=1.3.7
사소한 변경 install_chrome.sh

0.12.0

검색 엔진이 검색 결과 페이지(serp)의 마크업을 업데이트했기 때문에 최신 버전의 SerpScrap으로 업데이트할 것을 권장합니다.

결과를 가져오기 위한 선택기 업데이트 및 정리
새로운 결과 유형 동영상

0.11.0

이제 Chrome 헤드리스가 기본 브라우저이며 phantomJS 사용은 더 이상 사용되지 않습니다.
chromedriver는 처음 실행 시 설치됩니다(Linux 및 Windows에서 테스트되었습니다. Mac OS도 작동해야 함).
serp URL 및 제공된 URL에서 원시 텍스트 내용을 긁어내는 동작이 변경되었습니다.
Serp 결과와 내용을 한 번에 스크래핑 실행
csv 출력 형식이 변경되었습니다. 이제 탭으로 구분되고 인용됩니다.

0.10.0

헤드리스 크롬 지원, 스크랩 간 기본 시간 조정

0.9.0

검색결과 유형 추가(뉴스, 쇼핑, 이미지)
이미지 검색이 지원됩니다

0.8.0

텍스트 처리 도구가 제거되었습니다.
더 적은 요구사항

참고자료

SerpScrap은 Chrome 헤드리스[3] 및 lxml[4]을 사용하여 serp 결과를 스크랩합니다. 가져온 URL의 원시 텍스트 콘텐츠의 경우 beautifulsoup4 [5] 를 사용합니다. SerpScrap은 또한 처음 실행(Linux, Windows) 시 자동으로 설치되는 스크립팅 가능한 헤드리스 WebKit인 PhantomJs [6]를 지원합니다. 스크랩코어는 오래된 프로젝트인 GoogleScraper [7]를 기반으로 했으며 많은 변경 사항과 개선 사항이 있습니다.