WebSpider藍蜘蛛網頁抓取工具5.1可以抓取網路、wap網站上的任何網頁,包括需要登入後才能造訪的頁面。將抓取到頁面內容進行解析,得到結構化的訊息,例如:新聞標題、作者、來源、正文等。支援清單頁的自動翻頁抓取,支援正文頁多頁合併,支援圖片、文件的抓取,可以抓取靜態網頁,也可以抓取帶有參數的動態網頁,功能極為強大。
使用者指定要抓取的網站、抓取的網頁類型(固定頁面、分頁顯示的頁面等等),並配置如何解析資料項目(如新聞標題、作者、來源、正文等),系統可以根據設定資訊自動即時抓取數據,啟動抓取的時間也可以透過配置設定,真正做到“按需抓取,一次配置,永久抓取”。抓來的資料可以保存到資料庫中。支援目前主流資料庫,包括:Oracle、SQLServer、MySQL等。
本工具完全可以取代傳統的編輯手動處理資訊的模式,能夠即時、準確、一天24*60不間斷為企業提供最新資訊和情報,真正能為企業降低成本,提高競爭力。
本工具主要特色如下:
*適用範圍廣,可抓取任何網頁(包括登入後才能造訪的網頁)
*處理速度快,如果網路暢通,1小時可以抓取、解析10000個網頁
*採用獨特的重複數據過濾技術,支援增量式數據抓取,可以抓取即時數據,如:股票交易資訊、天氣預報等
*抓取資訊的準確性高,系統提供了強大的資料校驗功能,保證了資料的正確性
*支援斷點續抓,在當機或出現異常情況後可以恢復抓取,繼續後續的抓取工作,提高了系統的抓取效率
*對於清單頁,支援翻頁,可以抓取到所有清單頁中的資料。對於正文頁,可以自動合併分頁顯示的內容;
*支援頁面深度抓取,頁間可以一級一級抓下去。例如,透過清單頁抓取到正文頁URL,然後再抓取正文頁。各級頁面可以分別入庫;
*WEB操作介面,一處安裝,隨處使用
*逐步解析,分步入庫
*一次配置,永久抓取,一勞永逸