iWebCrawler Baidu Outil d'accélération du robot de recherche Google v1.0 version open source
v0
L'outil d'accélération des robots de recherche iWebCrawler fournit une analyse commune des journaux des moteurs de recherche (en se concentrant sur les robots d'exploration Baidu) ; il peut activement pousser chaque jour de nouveaux liens de sortie vers l'interface push Baidu sur la base du plan du site Baidu fourni par le site Web qui est conforme au format, et peut poussez automatiquement les nouveaux liens vers l'interface push de Baidu avant de les pousser. Filtrez les liens qui ont été explorés par les robots d'exploration de Baidu et les liens qui ont été poussés par le système, accélérant ainsi l'inclusion du site Web et augmentant son poids. Le module de fonction de génération de plan de site Web Baidu peut être personnalisé en fonction des besoins de l'utilisateur. Il prend en charge la génération du protocole Baidu Sitemap en trois formats : format texte, format XML et format d'index de plan de site. Vous pouvez choisir n'importe quel format pour organiser le plan du site en fonction. votre propre situation ; si le fichier est très volumineux, il peut être automatiquement divisé en plusieurs plans Sitemap plus petits. La fonction push active peut prendre en charge n'importe quel site Web (à condition qu'elle puisse fournir un plan du site Baidu conforme au format)
Trois parties de l'outil d'accélération du robot de recherche iWebCrawler 1. Analyse des enregistrements d'accès du robot 2. Générer le plan du site Baidu (version commerciale, personnalisable)
3. Pousser activement les nouveaux liens de sortie du site (version commerciale)
