Der Vorteil der Platzierung des Sitemap-Links in der robots.txt-Datei besteht darin, dass der Webmaster nicht zu den Webmaster-Tools jeder Suchmaschine oder einem ähnlichen Webmaster-Bereich gehen muss, um seine eigene Sitemap-Datei einzureichen. Diese Methode kann Webmastern helfen, ihre Arbeit zu reduzieren.
Alle großen Suchmaschinen haben eine neue Möglichkeit zur Unterstützung von Sitemaps veröffentlicht, die darin besteht, Links zu Sitemap-Dateien direkt in die robots.txt-Datei aufzunehmen. Zu den Suchmaschinenunternehmen, die dies derzeit unterstützen, gehören Google und Yahoo, aber chinesische Suchmaschinenunternehmen gehören offensichtlich nicht zu diesem Kreis.
Dies hat den Vorteil, dass der Webmaster nicht zu den Webmaster-Tools oder ähnlichen Webmaster-Bereichen jeder Suchmaschine gehen muss, um seine eigene Sitemap-Datei einzureichen. Der Suchmaschinen-Spider crawlt die robots.txt-Datei und liest den Inhalt darin. Sitemap-Pfad und crawlen Sie dann die verlinkten Webseiten.
Dies basiert auf der Annahme, dass robots.txt bereits ein Standard ist, alle Websites mindestens einen haben und Sitemap immer noch einen Standard etabliert. Dieser Ansatz kann die Arbeit von Webmastern reduzieren, und wenn sie keinen detaillierteren Index benötigen Suchinformationen, dann müssen Sie nur die Sitemap in robots.txt einbinden.
Beginnen wir jetzt und ändern Sie die robots.txt-Datei.
# # robots.txt für xxx.com # Version 2009.04.04 # Benutzeragent: * Nicht zulassen: /function/ Nicht zulassen: /FCKeditor/ Nicht zulassen: /CACHE/ Nicht zulassen: /SCRIPT/ Nicht zulassen: /ADMIN/ Nicht zulassen: /wap.asp Nicht zulassen: /cmd.asp Sitemap: http://www.xxx.com/sitemap.xml |
Autor: iyx.cc http://www.iyx.cc Bewahren Sie bei Reproduktion bitte unbedingt den Link des Autors und diese Erklärung auf. Vielen Dank für Ihre Mitarbeit!