ดาวน์โหลด gecco - ดาวน์โหลด gecco ซอร์สโค้ด

gecco

ซอร์สโค้ด JAVA

1.3.0Release

ดาวน์โหลด

เก็กโก้คืออะไร

Gecco เป็นโปรแกรมรวบรวมข้อมูลเว็บน้ำหนักเบาที่ใช้งานง่ายซึ่งพัฒนาด้วยภาษาจาวา Gecco integriert jsoup, httpclient, fastjson, spring, htmlunit, กรอบงาน ausgezeichneten แบบ Redission คุณจะต้องกำหนดค่าตัวเลือกสไตล์ jQuery เพียงไม่กี่ตัวเท่านั้นจึงจะเขียนโปรแกรมรวบรวมข้อมูลได้อย่างรวดเร็วมาก กรอบงาน .Gecco มีความสามารถในการปรับขนาดได้ดีเยี่ยม กรอบงานตามหลักการของการออกแบบแบบเปิดและปิด เพื่อปรับเปลี่ยนการปิด การขยายของ open. ในขณะเดียวกัน Gecco ก็ใช้โปรโตคอลโอเพ่นซอร์สของ MIT แบบเปิด ไม่ว่าคุณจะเป็นผู้ใช้หรือต้องการร่วมกันปรับปรุงนักพัฒนา Gecco ยินดีที่จะขอ pull หากคุณชอบเฟรมเวิร์กของ crawler โปรดติดดาวหรือแยก!

中文说明

คุณสมบัติหลัก

ใช้งานง่าย ใช้ตัวเลือกสไตล์ jQuery เพื่อแยกองค์ประกอบ
รองรับคำขอ Ajax แบบอะซิงโครนัสในหน้า
หน้าสนับสนุนการแยกตัวแปร JavaScript
การใช้ Redis เพื่อตระหนักถึงการรวบรวมข้อมูลแบบกระจาย อ้างอิง gecco-redis
สนับสนุนการพัฒนาตรรกะทางธุรกิจด้วย Spring อ้างอิง gecco-spring
รองรับส่วนขยาย htmlunit อ้างอิง gecco-htmlunit
รองรับกลไกการขยาย
รองรับการดาวน์โหลดการเลือกแบบสุ่มของ UserAgent
สนับสนุนการดาวน์โหลดพร็อกซีเซิร์ฟเวอร์ที่เลือกแบบสุ่ม

ภาพรวมกรอบงาน

ดาวน์โหลด

ดาวน์โหลดผ่าน Maven

< dependency >
    < groupId >com.geccocrawler</ groupId >
    < artifactId >gecco</ artifactId >
    < version >x.x.x</ version >
</ dependency >

โครงการขึ้นอยู่กับ

httpclient, jsoup, fastjson, การสะท้อน, cglib, แรด, log4j, jmxutils, commons-lang3

เริ่มต้นอย่างรวดเร็ว

 @ Gecco ( matchUrl = "https://github.com/{user}/{project}" , pipelines = "consolePipeline" )
public class MyGithub implements HtmlBean {

    private static final long serialVersionUID = - 7127412585200687225L ;

    @ RequestParameter ( "user" )
    private String user ;

    @ RequestParameter ( "project" )
    private String project ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(2) .social-count" )
    private String star ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(3) .social-count" )
    private String fork ;

    @ Html
    @ HtmlField ( cssPath = ".entry-content" )
    private String readme ;

    public String getReadme () {
        return readme ;
    }

    public void setReadme ( String readme ) {
        this . readme = readme ;
    }

    public String getUser () {
        return user ;
    }

    public void setUser ( String user ) {
        this . user = user ;
    }

    public String getProject () {
        return project ;
    }

    public void setProject ( String project ) {
        this . project = project ;
    }

    public String getStar () {
        return star ;
    }

    public void setStar ( String star ) {
        this . star = star ;
    }

    public String getFork () {
        return fork ;
    }

    public void setFork ( String fork ) {
        this . fork = fork ;
    }

    public static void main ( String [] args ) {
        GeccoEngine . create ()
        . classpath ( "com.geccocrawler.gecco.demo" )
        . start ( "https://github.com/xtuhcy/gecco" )
        . thread ( 1 )
        . interval ( 2000 )
        . loop ( true )
        . mobile ( false )
        . start ();
    }
}

DynamicGecco

วัตถุประสงค์ของ DynamicGecco คือการใช้การกำหนดค่ารันไทม์ของกฎการรวบรวมข้อมูลโดยไม่ต้องกำหนด SpiderBean ที่จริงแล้ว หลักการคือการใช้การเขียนโปรแกรมโค้ดไบต์ การสร้าง SpiderBean แบบไดนามิก แต่ยังผ่าน GeccoClassLoader แบบกำหนดเองเพื่อให้บรรลุกฎของการปรับใช้แบบร้อน ด้านล่างนี้เป็นการสาธิตแบบธรรมดา การสาธิตที่ซับซ้อนมากขึ้นสามารถดูได้จากตัวอย่างด้านล่าง com.geccocrawler.gecco.demo.dynamic

รหัสต่อไปนี้ใช้การกำหนดค่ารันไทม์ของกฎการตระเวน:

 DynamicGecco.html()
.gecco("https://github.com/{user}/{project}", "consolePipeline")
.requestField("request").request().build()
.stringField("user").requestParameter("user").build()
.stringField("project").requestParameter().build()
.stringField("star").csspath(".pagehead-actions li:nth-child(2) .social-count").text(false).build()
.stringField("fork").csspath(".pagehead-actions li:nth-child(3) .social-count").text().build()
.stringField("contributors").csspath("ul.numbers-summary > li:nth-child(4) > a").href().build()
.register();

GeccoEngine.create()
.classpath("com.geccocrawler.gecco.demo")
.start("https://github.com/xtuhcy/gecco")
.run();

คุณจะเห็นว่าวิธี DynamicGecco เมื่อเปรียบเทียบกับวิธีดั้งเดิมของโค้ดคำอธิบายประกอบลดลงอย่างมาก และจุดที่ยอดเยี่ยมคือ DynamicGecco ที่จะสนับสนุนการดำเนินการของคำจำกัดความและการปรับเปลี่ยนกฎ