Program pengumpulan web umum kincir angin versi online

Fitur:

**********************************************
1. Dikembangkan menggunakan asp.net dan dijalankan di bawah IIS.
2. Dapat secara otomatis terhubung ke sistem situs web yang ada sesuai dengan pengaturan pergudangan, dan dapat diintegrasikan secara mulus dengan sistem yang ada untuk melengkapi atau menggantikan program pengumpulan dari sistem yang ada.
3. Penjadwalan pengumpulan, yaitu tugas terjadwal, dapat mengatur waktu untuk setiap aturan pengumpulan untuk dikumpulkan berulang kali pada waktu yang dijadwalkan. Beberapa tugas pengumpulan dapat dijalankan pada waktu yang sama. Ketika waktu yang ditentukan tercapai, program pengumpulan dilakukan secara otomatis dijalankan di latar belakang server Web, benar-benar menyadari perlunya intervensi manual.
4. Dapat secara otomatis mengklasifikasikan informasi yang dikumpulkan. Ketika klasifikasi target tidak ada, klasifikasi dapat dibuat secara otomatis. Klasifikasi target juga dapat digabungkan dengan klasifikasi konten situs web saat ini melalui pemetaan klasifikasi. Tidak perlu membuat tugas pengumpulan untuk setiap kategori.
5. Pengaturan aturan pengumpulan sederhana dan mudah dipahami. Program ini memiliki dua mode berjalan, berjalan di latar depan atau berjalan di latar belakang.
6. Dapat mewujudkan pengumpulan halaman web multi-level secara mendalam, seperti halaman konten, sebagian informasi di halaman lain, serialisasi novel, dan jenis pengumpulan informasi lainnya dengan asosiasi tabel master-slave.
7. Pengumpulan resume breakpoint asli, program pengumpulan hanya mengumpulkan ketika situs web target diperbarui, dan hanya mengumpulkan bagian yang diperbarui, yang sangat efisien. Fungsi ini sangat berguna untuk mengumpulkan situs web berseri, seperti novel berseri, serial TV, dll.
8. Secara otomatis mengunduh file eksternal yang relevan ke server lokal atau menggantinya dengan jalur jarak jauh, seperti gambar, FLASH, file unduhan, dll., tanpa mengunggahnya secara manual ke server.
9. Mendukung definisi model pengumpulan. Anda dapat menentukan item data apa pun yang akan dikumpulkan sesuai kebutuhan.
10. Secara otomatis mengidentifikasi kode halaman web dari sebagian besar situs pengumpulan. Misalnya yang umum: GB2312, GBK, UTF-8, windows-1252, iso646-us, dll.
11. Mendukung pengumpulan thumbnail dan informasi tambahan lainnya dari halaman daftar.
12. Pengumpulan asinkron multi-utas, efisiensi pengumpulan tinggi, dan konsumsi sumber daya server rendah.

v1.5.4
Perbaikan: Memperbaiki masalah nomor antrean URL koleksi melebihi 5000 dan tidak dapat dihentikan saat memulai ulang secara otomatis 29-2-2008
Peningkatan: Dalam pengaturan pemfilteran lanjutan item koleksi, penggantian dapat dilakukan. Formatnya adalah menambahkan "[ke]" setelah aturan pemfilteran asli 29-2-008
Ditambahkan: Menambahkan pengaturan interval waktu pengumpulan untuk menghindari tekanan lebih besar pada server stasiun pengumpulan Ditambahkan: Menambahkan situasi bahwa situs web pengumpulan memerlukan verifikasi login, login dan alamat verifikasi perlu diatur 1-3-2008
Ditambahkan: Daftar pagination metode pengiriman JS (Posting). Penggunaan: Tambahkan parameter "?fc_action=post¶meter 1={$pageid}" ke alamat pengiriman. Jika halaman pengiriman sudah berisi "?", maka akan menjadi: "&fc_action=post¶meter 1={$pageid}" 2008-3 -1