Ferramenta de aceleração do rastreador de pesquisa do Google iWebCrawler Baidu versão 1.0 de código aberto
v0
A ferramenta de aceleração do rastreador de pesquisa iWebCrawler fornece análise de log do mecanismo de pesquisa comum (com foco nos rastreadores do Baidu), ela pode enviar ativamente novos links de saída todos os dias para a interface push do Baidu com base no mapa do site do Baidu fornecido pelo site que está em conformidade com o formato; enviar automaticamente os novos links para a interface push do Baidu antes de enviar. Filtre os links que foram rastreados pelos rastreadores do Baidu e os links que foram enviados pelo sistema, acelerando assim a inclusão do site e aumentando o peso do site. O módulo de função de geração de mapa do site do Baidu pode ser personalizado de acordo com os requisitos do usuário. Ele suporta a geração do protocolo do Sitemap do Baidu em três formatos: formato de texto, formato xml e formato de índice do sitemap. sua própria situação; se o arquivo for muito grande, ele poderá ser automaticamente dividido em vários Sitemaps menores. A função push ativa pode oferecer suporte a qualquer site (desde que possa fornecer um mapa do site Baidu que esteja em conformidade com o formato)
Três partes da ferramenta de aceleração do rastreador de pesquisa iWebCrawler 1. Análise do registro de acesso do rastreador 2. Gerar mapa do site Baidu (versão comercial, personalizável)
3. Envie ativamente novos links de saída do site (versão comercial)
