WebMagic (เฟรมเวิร์กซอฟต์แวร์รวบรวมข้อมูล Java) v0.7.2

Webmagic ใช้การออกแบบแบบโมดูลาร์โดยสมบูรณ์ และฟังก์ชันต่างๆ ครอบคลุมวงจรชีวิตของโปรแกรมรวบรวมข้อมูลทั้งหมด (การแยกลิงก์ การดาวน์โหลดเพจ การแยกเนื้อหา การคงอยู่) รองรับการรวบรวมข้อมูลแบบมัลติเธรด การรวบรวมข้อมูลแบบกระจาย การลองใหม่อัตโนมัติ และ UA/ คุกกี้ที่ปรับแต่งเอง และฟังก์ชันอื่น ๆ

คุณสมบัติหลักของ Webmagic

1. การออกแบบโมดูลาร์โดยสมบูรณ์และความสามารถในการขยายขนาดที่แข็งแกร่ง

2. แกนหลักนั้นเรียบง่ายแต่ครอบคลุมกระบวนการทั้งหมดของโปรแกรมรวบรวมข้อมูล มีความยืดหยุ่นและมีประสิทธิภาพและยังเป็นสื่อที่ดีสำหรับการเรียนรู้วิธีเริ่มต้นใช้งานโปรแกรมรวบรวมข้อมูล

3. จัดทำ API หน้าการแยกข้อมูลที่หลากหลาย

4. ไม่มีการกำหนดค่า แต่สามารถใช้โปรแกรมรวบรวมข้อมูลผ่านคำอธิบายประกอบ POJO+ ได้

5. รองรับมัลติเธรด

6. รองรับการกระจายสินค้า

7. รองรับการรวบรวมข้อมูลหน้าเว็บที่แสดงผลแบบไดนามิก js

8. ไม่มีการพึ่งพาเฟรมเวิร์กและสามารถฝังลงในโปรเจ็กต์ได้อย่างยืดหยุ่น

การแสดงหน้า WebMagic (กรอบงานโปรแกรมรวบรวมข้อมูล Java)