iWebCrawler Baidu Google herramienta de aceleración del rastreador de búsqueda v1.0 versión de código abierto
v0
La herramienta de aceleración del rastreador de búsqueda iWebCrawler proporciona análisis de registros de motores de búsqueda comunes (centrándose en los rastreadores de Baidu, puede enviar activamente nuevos enlaces de salida todos los días a la interfaz de envío de Baidu según el mapa del sitio de Baidu proporcionado por el sitio web que se ajusta al formato); envíe automáticamente los nuevos enlaces a la interfaz push de Baidu antes de enviarlos. Filtre los enlaces que han sido rastreados por los rastreadores de Baidu y los enlaces que han sido enviados por el sistema, lo que acelera la inclusión del sitio web y aumenta el peso del sitio. El módulo de función de generación de mapas del sitio web del mapa del sitio de Baidu se puede personalizar según los requisitos del usuario. Admite la generación del protocolo de mapa del sitio de Baidu en tres formatos: formato de texto, formato xml y formato de índice del mapa del sitio. Puede elegir cualquier formato para organizar el mapa del sitio. su propia situación; si el archivo es muy grande, se puede dividir automáticamente en varios mapas de sitio más pequeños. La función de inserción activa puede admitir cualquier sitio web (siempre que pueda proporcionar un mapa del sitio de Baidu que se ajuste al formato)
Tres partes de la herramienta de aceleración del rastreador de búsqueda iWebCrawler 1. Análisis del registro de acceso del rastreador 2. Generar mapa del sitio de Baidu (versión comercial, personalizable)
3. Impulsar activamente nuevos enlaces de salida del sitio (versión comercial)
