Функции:
*******************************************
1. Разработано с использованием asp.net и запущено под управлением IIS.
2. Он может быть автоматически подключен к существующей системе веб-сайта в соответствии с настройками складирования и может быть легко интегрирован с существующей системой, чтобы дополнить или заменить программу сбора существующей системы.
3. Планирование сбора, то есть запланированные задачи, позволяет установить время для повторного сбора каждого правила сбора в запланированное время. При достижении заданного времени программа сбора запускается автоматически. выполняется в фоновом режиме веб-сервера, действительно осознавая необходимость ручного вмешательства. Автоматические обновления.
4. Он может автоматически классифицировать собранную информацию. Если целевая классификация не существует, целевая классификация также может быть объединена с текущей классификацией контента веб-сайта посредством сопоставления классификации. Нет необходимости создавать задачу по сбору для каждой категории.
5. Настройка правил сбора проста и понятна. Программа имеет два режима работы: приоритетный и фоновый.
6. Он может осуществлять подробный сбор многоуровневых веб-страниц, таких как разбивка по страницам контента, частичная информация на других страницах, новая сериализация и другие типы сбора информации с ассоциацией главных-подчиненных таблиц.
7. Сбор исходного резюме точки останова. Программа сбора собирает данные только при обновлении целевого веб-сайта и собирает только обновленную часть, что очень эффективно. Эта функция особенно полезна для сбора сериализованных веб-сайтов, таких как сериализованные романы, сериалы и т. д.
8. Автоматически загружайте соответствующие внешние файлы на локальный сервер или заменяйте их удаленными путями, такими как изображения, FLASH, файлы загрузки и т. д., без загрузки их на сервер вручную.
9. Поддерживает определение моделей сбора. При необходимости можно определить любые элементы данных, которые будут собираться. Каждая модель также может содержать подмодели.
10. Автоматически определять коды веб-страниц большинства сайтов сбора. Например, распространенные: GB2312, GBK, UTF-8, windows-1252, iso646-us и т. д.
11. Поддержка сбора миниатюр и другой дополнительной информации со страницы списка.
12. Многопоточный асинхронный сбор, высокая эффективность сбора и низкое потребление ресурсов сервера.
v1.5.4
Улучшение: исправлена проблема, из-за которой номер очереди сбора URL-адресов превышает 5000 и не может быть остановлен при автоматическом перезапуске. 29 февраля 2008 г.
Улучшение: В расширенных настройках фильтрации элементов коллекции можно выполнить замену. Формат: добавление «[to]» после исходного правила фильтрации 29 февраля 2008 г.
Добавлено: добавлена настройка временного интервала сбора, чтобы избежать большей нагрузки на сервер станции сбора. Добавлено: добавлена ситуация, когда веб-сайт сбора требует проверки входа в систему, необходимо установить адрес входа и подтверждения. 2008-3-1
Добавлено: Пагинация метода отправки списка JS (Post). Использование: добавьте параметр «?fc_action=post¶meter 1={$pageid}» к адресу отправки. Если страница отправки уже содержит «?», это будет: «&fc_action=post¶meter 1={$pageid}» 2008-3. -1