iWebCrawler Baidu Google Search Crawler Acceleration Tool v1.0 Open-Source-Version
v0
Das Such-Crawler-Beschleunigungstool iWebCrawler bietet eine allgemeine Suchmaschinenprotokollanalyse (mit Schwerpunkt auf Baidu-Crawlern). Es kann jeden Tag aktiv neue Ausgabelinks an die Baidu-Push-Schnittstelle senden, basierend auf der von der Website bereitgestellten Baidu-Sitemap, die dem Format entspricht Pushen Sie die neuen Links automatisch an die Baidu-Push-Schnittstelle, bevor Sie Links herausfiltern, die von Baidu-Crawlern gecrawlt wurden, und Links, die vom System gepusht wurden, wodurch die Website-Integration beschleunigt und das Gewicht der Website erhöht wird. Das Funktionsmodul zur Sitemap-Generierung von Baidu kann an die Benutzeranforderungen angepasst werden. Es unterstützt die Generierung des Baidu-Sitemap-Protokolls in drei Formaten: Textformat, XML-Format und Sitemap-Indexformat Ihre eigene Situation; wenn die Datei sehr groß ist, kann sie automatisch in mehrere kleinere Sitemaps aufgeteilt werden. Die aktive Push-Funktion kann jede Website unterstützen (sofern sie eine Baidu-Sitemap bereitstellen kann, die dem Format entspricht).
Drei Teile des Such-Crawler-Beschleunigungstools iWebCrawler 1. Analyse der Crawler-Zugriffsdatensätze 2. Generieren einer Baidu-Sitemap (kommerzielle Version, anpassbar)
3. Pushen Sie aktiv neue Ausgabelinks der Website (kommerzielle Version).
