SeimiCrawler

تحديث SeimiCrawler (إطار عمل زاحف Java).

يدعم تخصيص رأس هذا الطلب من خلال الرأس (الخريطة) في كائن الطلب، ويدعم تخصيص ملفات تعريف الارتباط من خلال ملفات تعريف الارتباط seimiCookies. ستدخل ملفات تعريف الارتباط المخصصة مباشرة إلى متجر ملفات تعريف الارتباط وستظل صالحة للطلب الثاني في نفس المجال.

قم بتحسين وضع بدء التشغيل الافتراضي، وقم بتعديل cn.wanghaomiao.seimi.boot.Run لدعم CommandLineParser، ويمكنك استخدام -c و -p لتمرير المعلمات، حيث يتم استخدام -c لتحديد أسماء الزاحف، ويتم فصل المضاعفات بـ '،'، و -p يحدد منفذًا، يمكنك تشغيل خدمة http المضمنة بشكل انتقائي وتمكين استخدام واجهة http المضمنة.

تمت ترقية البرنامج الإضافي للتغليف maven-compiler-plugin إلى الإصدار 1.3.0، وتم تحسين البرنامج النصي لنظام التشغيل Linux، وتمت إضافة ملف تكوين بدء التشغيل. يمكنك عرضه بالتفصيل على الصفحة الرئيسية لبرنامج maven-compiler-plugin.

تم تغيير برنامج التنزيل الافتراضي إلى ApacheHttpclient، والنسخة الاحتياطية هي تنفيذ برنامج التنزيل OkHttp3

تحسين بعض التعليمات البرمجية

بشكل افتراضي، يتم إخراج كافة السجلات التجريبية إلى وحدة التحكم.

مقدمة إلى SeimiCrawler (إطار عمل زاحف Java)

SeimiCrawler هو إطار عمل زاحف Java رشيق وموزع بشكل مستقل، ويأمل في تقليل عتبة المبتدئين لتطوير نظام زاحف يتمتع بتوفر عالٍ وأداء جيد، وتحسين كفاءة تطوير نظام الزاحف. في عالم SeimiCrawler، لا يحتاج معظم الأشخاص إلا إلى القلق بشأن كتابة منطق الأعمال الخاص بالزحف، وسيتولى Seimi الباقي نيابةً عنك. فيما يتعلق بمفهوم التصميم، فإن SeimiCrawler مستوحى من إطار عمل زاحف Python Scrapy، كما أنه يدمج خصائص لغة Java نفسها وخصائص Spring، ويأمل في جعل استخدام XPath الأكثر كفاءة لتحليل HTML أكثر ملاءمة وشائعة في الصين ، لذا فإن محلل HTML الافتراضي لـ SeimiCrawler هو JsoupXpath (مشروع ملحق مستقل، غير مضمن مع jsoup) يستخدم XPath لتحليل بيانات HTML واستخراجها افتراضيًا (بالطبع، يمكنك أيضًا اختيار محللين آخرين لمعالجة البيانات). وبدمجه مع SeimiAgent، فإنه يحل بشكل كامل ومثالي مشكلة عرض الصفحات الديناميكية المعقدة والزحف إليها.

عرض SeimiCrawler (إطار عمل زاحف Java).