โปรแกรมรวบรวมเว็บ Windmill ทั่วไป เวอร์ชั่นออนไลน์
v1.5.4
คุณสมบัติ:
-
1. พัฒนาโดยใช้ asp.net และทำงานภายใต้ IIS
2. สามารถเชื่อมต่อกับระบบเว็บไซต์ที่มีอยู่ได้โดยอัตโนมัติตามการตั้งค่าคลังสินค้า และสามารถรวมเข้ากับระบบที่มีอยู่ได้อย่างราบรื่นเพื่อเสริมหรือแทนที่โปรแกรมการรวบรวมของระบบที่มีอยู่
3. การกำหนดตารางเวลาการรวบรวม นั่นคือ งานที่กำหนดเวลาไว้ สามารถกำหนดเวลาสำหรับกฎการรวบรวมแต่ละข้อเพื่อรวบรวมซ้ำ ๆ ตามเวลาที่กำหนด สามารถรันงานการรวบรวมหลายรายการพร้อมกันได้ เมื่อถึงเวลาที่ตั้งไว้ โปรแกรมการรวบรวมจะทำงานโดยอัตโนมัติ ดำเนินการในพื้นหลังของเว็บเซิร์ฟเวอร์ โดยตระหนักถึงความจำเป็นในการแทรกแซงด้วยตนเองอย่างแท้จริง
4. สามารถจัดประเภทข้อมูลที่รวบรวมได้โดยอัตโนมัติ เมื่อไม่มีการจำแนกประเภทเป้าหมาย การจัดประเภทเป้าหมายยังสามารถรวมเข้ากับการจัดประเภทเนื้อหาเว็บไซต์ปัจจุบันผ่านการแมปการจัดประเภทได้ ไม่จำเป็นต้องสร้างงานการรวบรวมสำหรับแต่ละหมวดหมู่
5. การตั้งค่ากฎการรวบรวมทำได้ง่ายและเข้าใจง่าย โปรแกรมมีโหมดการทำงานสองโหมด คือ การทำงานเบื้องหน้าหรือการทำงานตามกำหนดเวลาในเบื้องหลัง
6. สามารถรับรู้คอลเลกชันของหน้าเว็บหลายระดับในเชิงลึก เช่น การเพจเนื้อหา ข้อมูลบางส่วนในหน้าอื่น ๆ การทำให้เป็นอนุกรมใหม่ และการรวบรวมข้อมูลประเภทอื่น ๆ ด้วยการเชื่อมโยงตารางหลักและรอง
7. การรวบรวมเรซูเม่เบรกพอยต์ดั้งเดิม โปรแกรมรวบรวมจะรวบรวมเมื่อมีการอัปเดตเว็บไซต์เป้าหมายเท่านั้น และรวบรวมเฉพาะส่วนที่อัปเดตซึ่งมีประสิทธิภาพสูง ฟังก์ชันนี้มีประโยชน์อย่างยิ่งสำหรับการรวบรวมเว็บไซต์ที่ต่อเนื่องกัน เช่น นวนิยายที่ต่อเนื่องกัน ละครโทรทัศน์ ฯลฯ
8. ดาวน์โหลดไฟล์ภายนอกที่เกี่ยวข้องไปยังเซิร์ฟเวอร์ภายในเครื่องโดยอัตโนมัติ หรือแทนที่ด้วยเส้นทางระยะไกล เช่น รูปภาพ, FLASH, ไฟล์ดาวน์โหลด ฯลฯ โดยไม่ต้องอัปโหลดไปยังเซิร์ฟเวอร์ด้วยตนเอง
9. รองรับคำจำกัดความของโมเดลการรวบรวม คุณสามารถกำหนดรายการข้อมูลใด ๆ ที่จะรวบรวมได้ตามต้องการ
10. ระบุรหัสหน้าเว็บของไซต์คอลเลกชันส่วนใหญ่โดยอัตโนมัติ ตัวอย่างเช่นสิ่งทั่วไป: GB2312, GBK, UTF-8, windows-1252, iso646-us เป็นต้น
11. รองรับการรวบรวมภาพขนาดย่อและข้อมูลเพิ่มเติมอื่น ๆ จากหน้ารายการ
12. คอลเลกชันอะซิงโครนัสแบบมัลติเธรด ประสิทธิภาพการรวบรวมสูงและการใช้ทรัพยากรเซิร์ฟเวอร์ต่ำ
เวอร์ชัน 1.5.4
การปรับปรุง: แก้ไขปัญหาที่หมายเลขคิว URL คอลเลกชันเกิน 5,000 และไม่สามารถหยุดได้เมื่อรีสตาร์ทโดยอัตโนมัติ 2008-2-29
การปรับปรุง: ในการตั้งค่าการกรองขั้นสูงของรายการคอลเลกชัน สามารถเปลี่ยนได้ รูปแบบคือการเพิ่ม "[ถึง]" หลังกฎการกรองเดิม 2008-2-29
เพิ่มแล้ว: เพิ่มการตั้งค่าช่วงเวลาการรวบรวมเพื่อหลีกเลี่ยงแรงกดดันที่มากขึ้นต่อเซิร์ฟเวอร์สถานีรวบรวม เพิ่มแล้ว: เพิ่มสถานการณ์ที่เว็บไซต์รวบรวมจำเป็นต้องมีการยืนยันการเข้าสู่ระบบ จำเป็นต้องตั้งค่าการเข้าสู่ระบบและที่อยู่การยืนยัน 2008-3-1
เพิ่ม: รายการการแบ่งหน้าวิธีการส่ง JS (โพสต์) การใช้งาน: เพิ่มพารามิเตอร์ "?fc_action=post¶meter 1={$pageid}" ต่อท้ายที่อยู่การส่ง หากหน้าการส่งมี "?" อยู่แล้ว จะเป็น: "&fc_action=post¶meter 1={$pageid}" 2008-3 -1
