L'avantage de placer le lien du plan du site dans le fichier robots.txt est que le webmaster n'a pas besoin d'accéder aux outils pour les webmasters de chaque moteur de recherche ou à une section webmaster similaire pour soumettre son propre fichier de plan du site. Cette méthode peut aider les webmasters à réduire leur travail.
Tous les principaux moteurs de recherche ont publié une nouvelle façon de prendre en charge les plans de site, qui consiste à inclure directement des liens vers les fichiers de plan de site dans le fichier robots.txt. Les sociétés de moteurs de recherche qui prennent actuellement en charge cela incluent Google et Yahoo, mais les sociétés de moteurs de recherche chinoises ne font évidemment pas partie de ce cercle.
L'avantage est que le webmaster n'a pas besoin d'accéder aux outils pour les webmasters ou aux sections webmaster similaires de chaque moteur de recherche pour soumettre son propre fichier de plan de site. L'araignée du moteur de recherche explorera le fichier robots.txt et en lira le contenu. chemin du plan du site, puis explorez les pages Web liées.
Ceci est basé sur l'hypothèse que robots.txt est déjà un standard, que tous les sites Web en ont au moins un et que le plan du site est toujours en train d'établir un standard. Cette approche peut réduire le travail des webmasters, et s'ils n'ont pas besoin d'un index et d'un index plus détaillés. recherchez des informations, il vous suffit alors d'inclure le plan du site dans robots.txt.
Commençons maintenant et modifions le fichier robots.txt.
# # robots.txt pour xxx.com #Version 2009.04.04 # Agent utilisateur : * Interdire : /fonction/ Interdire : /FCKeditor/ Interdire : /CACHE/ Interdire : /SCRIPT/ Interdire : /ADMIN/ Interdire : /wap.asp Interdire : /cmd.asp Plan du site : http://www.xxx.com/sitemap.xml |
Auteur : iyx.cc http://www.iyx.cc En cas de reproduction, assurez-vous de conserver le lien de l'auteur et cette déclaration Merci pour votre coopération !