SeimiCrawler
v0
Поддерживает настройку заголовка этого запроса через заголовок (карту) в объекте запроса и поддерживает настройку файлов cookie через seimiCookies. Настроенные файлы cookie будут напрямую поступать в хранилище файлов cookie и по-прежнему будут действительны для второго запроса в том же домене.
Оптимизируйте режим запуска по умолчанию, измените cn.wanghaomiao.seimi.boot.Run для поддержки CommandLineParser, вы можете использовать -c и -p для передачи параметров, где -c используется для указания имен сканеров, кратные разделяются символами ',' и -p указывает порт, вы можете выборочно запустить встроенную службу http и включить использование встроенного интерфейса http.
Плагин упаковки maven-compiler-plugin обновлен до версии 1.3.0, улучшен скрипт под Linux и добавлен файл конфигурации запуска. Подробно его можно просмотреть на домашней странице maven-compiler-plugin.
Загрузчик по умолчанию изменен на ApacheHttpclient, а резервной копией является реализация загрузчика OkHttp3.
Оптимизируйте немного кода
По умолчанию все демо-логи выводятся на консоль.
Введение в SeimiCrawler (фреймворк Java-сканера)SeimiCrawler — это гибкая, независимо развертываемая распределенная среда сканирования Java. Она надеется свести к минимуму порог для новичков при разработке системы сканирования с высокой доступностью и хорошей производительностью, а также повысить эффективность разработки системы сканирования. В мире SeimiCrawler большинству людей нужно беспокоиться только о написании бизнес-логики сканирования, а Seimi сделает все остальное за вас. С точки зрения концепции дизайна, SeimiCrawler вдохновлен фреймворком Scrapy Python. Он также объединяет характеристики самого языка Java и характеристики Spring. Он надеется сделать более удобным и распространенным в Китае использование более эффективного XPath для анализа HTML. , поэтому анализатором HTML по умолчанию SeimiCrawler является JsoupXpath (независимый проект расширения, не включенный в jsoup), который по умолчанию использует XPath для анализа и извлечения данных HTML (конечно, вы также можете выбрать другие анализаторы для обработки данных). А в сочетании с SeimiAgent он полностью и прекрасно решает проблему сложного динамического рендеринга и сканирования страниц.
Отображение SeimiCrawler (фреймворк Java-сканера)
