Versão online do programa geral de coleta de web do moinho de vento

Características:

******************************************
1. Desenvolvido em asp.net e executado em IIS.
2. Ele pode ser conectado automaticamente ao sistema do site existente de acordo com as configurações de armazenamento e pode ser perfeitamente integrado ao sistema existente para complementar ou substituir o programa de coleta do sistema existente.
3. O agendamento de coleta, ou seja, tarefas agendadas, pode definir um horário para cada regra de coleta coletar repetidamente em um horário agendado. Várias tarefas de coleta podem ser executadas ao mesmo tempo. Quando o horário definido for atingido, o programa de coleta será executado automaticamente. executado em segundo plano no servidor Web, percebendo verdadeiramente a necessidade de intervenção manual.
4. Ele pode classificar automaticamente as informações coletadas. Quando a classificação de destino não existe, a classificação pode ser criada automaticamente. A classificação de destino também pode ser mesclada com a classificação de conteúdo do site atual por meio do mapeamento de classificação. Não há necessidade de criar uma tarefa de coleta para cada categoria.
5. A configuração da regra de coleta é simples e fácil de entender. O programa possui dois modos de execução, execução em primeiro plano ou execução programada em segundo plano.
6. Ele pode realizar a coleta detalhada de páginas da Web de vários níveis, como paginação de conteúdo, informações parciais em outras páginas, serialização de romance e outros tipos de coleta de informações com associação de tabela mestre-escravo.
7. Coleta de currículo de ponto de interrupção original, o programa de coleta coleta apenas quando o site de destino é atualizado e coleta apenas a parte atualizada, o que é altamente eficiente. Esta função é particularmente útil para coletar sites serializados, como romances serializados, séries de TV, etc.
8. Baixe automaticamente arquivos externos relevantes para o servidor local ou substitua-os por caminhos remotos, como imagens, FLASH, arquivos de download, etc., sem carregá-los manualmente para o servidor.
9. Suporta a definição de modelos de coleta. Você pode definir quaisquer itens de dados a serem coletados conforme necessário. Cada modelo também pode conter submodelos.
10. Identifique automaticamente os códigos das páginas da web da maioria dos sites de coleta. Por exemplo, os mais comuns: GB2312, GBK, UTF-8, windows-1252, iso646-us, etc.
11. Apoie a coleta de miniaturas e outras informações adicionais da página da lista.
12. Coleta assíncrona multithread, alta eficiência de coleta e baixo consumo de recursos do servidor.

v1.5.4
Melhoria: Corrigido o problema de o número da fila do URL de coleta exceder 5.000 e não poder ser interrompido ao reiniciar automaticamente 29/02/2008
Melhoria: Nas configurações avançadas de filtragem de itens de coleção a substituição pode ser realizada. O formato é adicionar "[to]" após a regra de filtragem original 2008-2-29
Adicionado: Adicionada a configuração do intervalo de tempo de coleta para evitar colocar maior pressão no servidor da estação de coleta Adicionado: Adicionada a situação em que o site de coleta precisa de verificação de login, o login e o endereço de verificação precisam ser configurados 2008-3-1
Adicionado: paginação do método de envio de lista JS (Post). Uso: Anexe o parâmetro "?fc_action=post¶meter 1={$pageid}" ao endereço de envio. Se a página de envio já contiver "?", será: "&fc_action=post¶meter 1={$pageid}" 2008-3. -1