gecco下載 - gecco原始碼下載

gecco

JAVA源碼

1.3.0Release

下載

什麼是蓋克

Gecco是一款使用java語言開發的簡單易用的輕量級網路爬蟲。快速的編寫一個爬蟲Gecco框架具有優秀的可擴展性，該框架基於開放和封閉的原則設計，對修改封閉，擴展開放。 Gecco開發者，歡迎請求pull。

中文說明

主要特點

使用方便，使用jQuery風格的選擇器來提取元素
頁面中支援異步Ajax請求
支援頁面JavaScript變數提取
使用Redis實現分散式爬取，參考gecco-redis
支援用Spring開發業務邏輯，參考gecco-spring
支援htmlunit擴展，參考gecco-htmlunit
支援擴展機制
支援下載UserAgent隨機選擇
支援隨機選擇下載代理伺服器

框架概述

下載

透過Maven下載

< dependency >
    < groupId >com.geccocrawler</ groupId >
    < artifactId >gecco</ artifactId >
    < version >x.x.x</ version >
</ dependency >

依賴項目

httpclient，jsoup，fastjson，reflections，cglib，rhino，log4j，jmxutils，commons-lang3

快速啟動

 @ Gecco ( matchUrl = "https://github.com/{user}/{project}" , pipelines = "consolePipeline" )
public class MyGithub implements HtmlBean {

    private static final long serialVersionUID = - 7127412585200687225L ;

    @ RequestParameter ( "user" )
    private String user ;

    @ RequestParameter ( "project" )
    private String project ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(2) .social-count" )
    private String star ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(3) .social-count" )
    private String fork ;

    @ Html
    @ HtmlField ( cssPath = ".entry-content" )
    private String readme ;

    public String getReadme () {
        return readme ;
    }

    public void setReadme ( String readme ) {
        this . readme = readme ;
    }

    public String getUser () {
        return user ;
    }

    public void setUser ( String user ) {
        this . user = user ;
    }

    public String getProject () {
        return project ;
    }

    public void setProject ( String project ) {
        this . project = project ;
    }

    public String getStar () {
        return star ;
    }

    public void setStar ( String star ) {
        this . star = star ;
    }

    public String getFork () {
        return fork ;
    }

    public void setFork ( String fork ) {
        this . fork = fork ;
    }

    public static void main ( String [] args ) {
        GeccoEngine . create ()
        . classpath ( "com.geccocrawler.gecco.demo" )
        . start ( "https://github.com/xtuhcy/gecco" )
        . thread ( 1 )
        . interval ( 2000 )
        . loop ( true )
        . mobile ( false )
        . start ();
    }
}

動態壁虎

DynamicGecco的目的是在不定義SpiderBean的情況下，實作抓取規則的運行時配置。簡單的Demo，更複雜的Demo可以參考下面的例子com.geccocrawler.gecco.demo.dynamic。

下面的程式碼實現了抓取規則的運行時配置：

 DynamicGecco.html()
.gecco("https://github.com/{user}/{project}", "consolePipeline")
.requestField("request").request().build()
.stringField("user").requestParameter("user").build()
.stringField("project").requestParameter().build()
.stringField("star").csspath(".pagehead-actions li:nth-child(2) .social-count").text(false).build()
.stringField("fork").csspath(".pagehead-actions li:nth-child(3) .social-count").text().build()
.stringField("contributors").csspath("ul.numbers-summary > li:nth-child(4) > a").href().build()
.register();

GeccoEngine.create()
.classpath("com.geccocrawler.gecco.demo")
.start("https://github.com/xtuhcy/gecco")
.run();

可以看到DynamicGecco方式相比傳統的註解方式程式碼大大減少了，而且很酷的一點就是DynamicGecco支援操作規則的定義和修改。