geccoダウンロード - geccoソースコードのダウンロード

gecco

JAVAソースコード

1.3.0Release

ダウンロード

ゲッコーとは

Gecco は、Java 言語で開発された使いやすい軽量 Web クローラーです。Gecco Integriert jsoup、httpclient、fastjson、spring、htmlunit、redission ausgezeichneten フレームワークを使用して、いくつかの jQuery スタイルセレクターを設定するだけで、非常に迅速にクローラーを作成できます。 Gecco フレームワークは優れたスケーラビリティを備えており、オープンとクローズの設計原理に基づいたフレームワークで、クロージャを変更し、オープンを拡張します。同時にGecco は、非常にオープンな MIT オープンソースプロトコルに基づいています。ユーザーである場合でも、Gecco 開発者を共同で改善したい場合でも、プルリクエストを歓迎します。クローラーフレームワークが気に入った場合は、スターを付けるかフォークしてください。

中文说明

主な特長

使いやすく、jQuery スタイルセレクターを使用して要素を抽出します
ページでの非同期 Ajax リクエストのサポート
サポートページのJavaScript変数抽出
Redis を使用して分散クロールを実現する、gecco-redis を参照
Spring を使用したビジネスロジックの開発をサポートする、gecco-spring を参照
htmlunit 拡張機能をサポート、gecco-htmlunit を参照
サポート拡張メカニズム
UserAgent のランダム選択のダウンロードをサポート
ランダムに選択されたダウンロードプロキシサーバーをサポートします

フレームワークの概要

ダウンロード

Maven 経由でダウンロードする

< dependency >
    < groupId >com.geccocrawler</ groupId >
    < artifactId >gecco</ artifactId >
    < version >x.x.x</ version >
</ dependency >

依存プロジェクト

httpclient、jsoup、fastjson、reflections、cglib、rhino、log4j、jmxutils、commons-lang3

クイックスタート

 @ Gecco ( matchUrl = "https://github.com/{user}/{project}" , pipelines = "consolePipeline" )
public class MyGithub implements HtmlBean {

    private static final long serialVersionUID = - 7127412585200687225L ;

    @ RequestParameter ( "user" )
    private String user ;

    @ RequestParameter ( "project" )
    private String project ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(2) .social-count" )
    private String star ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(3) .social-count" )
    private String fork ;

    @ Html
    @ HtmlField ( cssPath = ".entry-content" )
    private String readme ;

    public String getReadme () {
        return readme ;
    }

    public void setReadme ( String readme ) {
        this . readme = readme ;
    }

    public String getUser () {
        return user ;
    }

    public void setUser ( String user ) {
        this . user = user ;
    }

    public String getProject () {
        return project ;
    }

    public void setProject ( String project ) {
        this . project = project ;
    }

    public String getStar () {
        return star ;
    }

    public void setStar ( String star ) {
        this . star = star ;
    }

    public String getFork () {
        return fork ;
    }

    public void setFork ( String fork ) {
        this . fork = fork ;
    }

    public static void main ( String [] args ) {
        GeccoEngine . create ()
        . classpath ( "com.geccocrawler.gecco.demo" )
        . start ( "https://github.com/xtuhcy/gecco" )
        . thread ( 1 )
        . interval ( 2000 )
        . loop ( true )
        . mobile ( false )
        . start ();
    }
}

ダイナミックGecco

DynamicGecco の目的は、SpiderBean を定義せずにクロールルールの実行時設定を実装することです。実際、原理はバイトコードプログラミングの使用、SpiderBean の動的生成ですが、カスタム GeccoClassLoader を使用してホットデプロイのルールも実現します。以下は単純なデモです。より複雑なデモは、以下の例 com.geccocrawler.gecco.demo.dynamic を参照してください。

次のコードは、クロールルールの実行時構成を実装します。

 DynamicGecco.html()
.gecco("https://github.com/{user}/{project}", "consolePipeline")
.requestField("request").request().build()
.stringField("user").requestParameter("user").build()
.stringField("project").requestParameter().build()
.stringField("star").csspath(".pagehead-actions li:nth-child(2) .social-count").text(false).build()
.stringField("fork").csspath(".pagehead-actions li:nth-child(3) .social-count").text().build()
.stringField("contributors").csspath("ul.numbers-summary > li:nth-child(4) > a").href().build()
.register();

GeccoEngine.create()
.classpath("com.geccocrawler.gecco.demo")
.start("https://github.com/xtuhcy/gecco")
.run();

DynamicGecco の方法は、従来の方法に比べてアノテーションコードが大幅に削減されていることがわかります。非常に優れている点は、DynamicGecco がルールの定義と変更の操作をサポートしていることです。