iWebCrawler百度Google搜尋爬蟲加速工具v1.0 開源版
v0
iWebCrawler搜尋爬蟲加速工具提供常見搜尋引擎日誌分析(重點是百度爬蟲);可根據網站提供的符合格式的百度sitemap網站地圖,把每天的新產出鏈接主動推送給百度推送接口,並且能夠在推送前過濾掉百度爬蟲已抓取鏈接及系統已推送的鏈接,從而加快網站收錄速度,提升網站權重。可依使用者要求為使用者自訂百度sitemap網站地圖產生功能模組,支援產生百度Sitemap協定三種格式:文字格式、xml格式、Sitemap索引格式,可以根據自己情況來選擇任何一種格式組織sitemap;如果檔案很大,可以自動拆分為幾個小的Sitemap。主動推播功能可以支援任何網站(只要能提供符合格式的百度sitemap網站地圖)
iWebCrawler搜尋爬蟲加速工具三部分一、爬蟲訪問記錄分析二、生成百度sitemap網站地圖(商業版,可自訂)
三、主動推送站點新產出連結(商業版)