تنزيل gecco - تنزيل كود المصدر gecco

gecco

جافا كود المصدر

1.3.0Release

تنزيل

ما هو جيكو

Gecco عبارة عن زاحف ويب خفيف الوزن وسهل الاستخدام تم تطويره باستخدام لغة جافا. Gecco integriert jsoup، httpclient، fastjson، Spring، htmlunit، redission ausgezeichneten Framework، يتيح لك فقط تكوين عدد من محددات نمط jQuery التي يمكن أن تكون سريعة جدًا في كتابة الزاحف يتمتع إطار Gecco بقابلية تطوير ممتازة، ويعتمد الإطار على مبدأ التصميم المفتوح والمغلق، لتعديل الإغلاق وتوسيع الفتح. في نفس الوقت، يعتمد Gecco على بروتوكول مفتوح المصدر لمعهد ماساتشوستس للتكنولوجيا (MIT) مفتوح المصدر، سواء كنت مستخدمًا أو ترغب في تحسين مطور Gecco بشكل مشترك، فمرحبًا بك في طلب السحب. إذا كنت تحب إطار عمل الزاحف، فيرجى النجمة أو الشوكة!

中文说明

الميزات الرئيسية

سهل الاستخدام، استخدم محدد نمط jQuery لاستخراج العناصر
دعم طلبات Ajax غير المتزامنة في الصفحة
صفحة دعم استخراج متغير جافا سكريبت
باستخدام Redis لتحقيق الزحف الموزع، قم بالإشارة إلى gecco-redis
دعم تطوير منطق الأعمال باستخدام Spring، مرجع gecco-spring
دعم ملحق htmlunit، مرجع gecco-htmlunit
دعم آلية التمديد
دعم تنزيل الاختيار العشوائي لـ UserAgent
دعم خادم وكيل التنزيل الذي تم اختياره عشوائيًا

نظرة عامة على الإطار

تحميل

التحميل عبر مافن

< dependency >
    < groupId >com.geccocrawler</ groupId >
    < artifactId >gecco</ artifactId >
    < version >x.x.x</ version >
</ dependency >

مشروع تابع

httpclient،jsoup،fastjson،انعكاسات،cglib،وحيد القرن،log4j،jmxutils،commons-lang3

بداية سريعة

 @ Gecco ( matchUrl = "https://github.com/{user}/{project}" , pipelines = "consolePipeline" )
public class MyGithub implements HtmlBean {

    private static final long serialVersionUID = - 7127412585200687225L ;

    @ RequestParameter ( "user" )
    private String user ;

    @ RequestParameter ( "project" )
    private String project ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(2) .social-count" )
    private String star ;

    @ Text
    @ HtmlField ( cssPath = ".pagehead-actions li:nth-child(3) .social-count" )
    private String fork ;

    @ Html
    @ HtmlField ( cssPath = ".entry-content" )
    private String readme ;

    public String getReadme () {
        return readme ;
    }

    public void setReadme ( String readme ) {
        this . readme = readme ;
    }

    public String getUser () {
        return user ;
    }

    public void setUser ( String user ) {
        this . user = user ;
    }

    public String getProject () {
        return project ;
    }

    public void setProject ( String project ) {
        this . project = project ;
    }

    public String getStar () {
        return star ;
    }

    public void setStar ( String star ) {
        this . star = star ;
    }

    public String getFork () {
        return fork ;
    }

    public void setFork ( String fork ) {
        this . fork = fork ;
    }

    public static void main ( String [] args ) {
        GeccoEngine . create ()
        . classpath ( "com.geccocrawler.gecco.demo" )
        . start ( "https://github.com/xtuhcy/gecco" )
        . thread ( 1 )
        . interval ( 2000 )
        . loop ( true )
        . mobile ( false )
        . start ();
    }
}

ديناميك جيكو

الغرض من DynamicGecco هو تنفيذ تكوين وقت التشغيل لقاعدة الزحف دون تحديد SpiderBean. في الواقع، المبدأ هو استخدام برمجة كود البايت، والتوليد الديناميكي لـ SpiderBean، ولكن أيضًا من خلال GeccoClassLoader المخصص لتحقيق قاعدة النشر السريع يوجد أدناه عرض توضيحي بسيط، أما العرض التوضيحي الأكثر تعقيدًا فيمكن الرجوع إلى المثال أدناه com.geccocrawler.gecco.demo.dynamic.

تطبق التعليمة البرمجية التالية تكوين وقت التشغيل لقاعدة الزحف:

 DynamicGecco.html()
.gecco("https://github.com/{user}/{project}", "consolePipeline")
.requestField("request").request().build()
.stringField("user").requestParameter("user").build()
.stringField("project").requestParameter().build()
.stringField("star").csspath(".pagehead-actions li:nth-child(2) .social-count").text(false).build()
.stringField("fork").csspath(".pagehead-actions li:nth-child(3) .social-count").text().build()
.stringField("contributors").csspath("ul.numbers-summary > li:nth-child(4) > a").href().build()
.register();

GeccoEngine.create()
.classpath("com.geccocrawler.gecco.demo")
.start("https://github.com/xtuhcy/gecco")
.run();

يمكنك أن ترى أن طريقة DynamicGecco مقارنة بالطريقة التقليدية لرمز التعليقات التوضيحية قد تم تقليلها بشكل كبير، والنقطة الرائعة جدًا هي DynamicGecco لدعم عملية تعريف القواعد وتعديلها.