iWebCrawler Baidu Google 검색 크롤러 가속 도구 v1.0 오픈 소스 버전
v0
iWebCrawler 검색 크롤러 가속 도구는 일반 검색 엔진 로그 분석(Baidu 크롤러에 초점)을 제공하며, 형식을 준수하는 웹사이트에서 제공하는 Baidu 사이트맵을 기반으로 Baidu 푸시 인터페이스에 매일 새로운 출력 링크를 푸시할 수 있습니다. 푸시하기 전에 새 링크를 Baidu 푸시 인터페이스에 자동으로 푸시합니다. Baidu 크롤러가 크롤링한 링크와 시스템에서 푸시한 링크를 필터링하여 웹사이트 포함 속도를 높이고 웹사이트 가중치를 높입니다. Baidu 사이트맵 웹사이트 맵 생성 기능 모듈은 사용자 요구 사항에 따라 사용자 정의할 수 있습니다. 텍스트 형식, xml 형식 및 사이트맵 색인 형식의 세 가지 형식으로 Baidu 사이트맵 프로토콜 생성을 지원합니다. 원하는 형식을 선택하여 사이트맵을 구성할 수 있습니다. 귀하의 상황에 따라 파일이 매우 큰 경우 자동으로 여러 개의 작은 Sitemap으로 분할될 수 있습니다. 활성 푸시 기능은 모든 웹사이트를 지원할 수 있습니다(형식을 준수하는 Baidu 사이트맵을 제공할 수 있는 경우).
iWebCrawler 검색 크롤러 가속 도구의 세 부분 1. 크롤러 접속 기록 분석 2. Baidu 사이트맵 생성(상용 버전, 사용자 정의 가능)
3. 사이트의 새로운 출력 링크를 적극적으로 푸시합니다(상용 버전).
