Les fichiers robots sont un « gentleman's Agreement » entre le site Web et le programme Spider : les fichiers robots peuvent non seulement économiser les ressources du site Web, mais également aider les robots à explorer le Web plus efficacement, améliorant ainsi les classements.
1 : Autoriser uniquement le bot Google
Si vous souhaitez bloquer tous les robots d'exploration à l'exception de Googlebot :
Agent utilisateur ：*
refuser:/
Uer-agent : nom d'araignée autorisé
Refuser:
2 : La différence entre "/folder/" et "/folder"
Par exemple:
Agent utilisateur ：*
Interdire :/dossier/
Interdire :/dossier
« Disallow:/folder/ » signifie qu'un répertoire est intercepté. Tous les fichiers de ce répertoire ne sont pas autorisés à être analysés, mais l'analyse de dossier.hlml est autorisée.
« Disallow:/folder » : tous les fichiers et dossiers.html sous /folder/ ne peuvent pas être explorés.
3 : "*" correspond à n'importe quel caractère
Agent utilisateur ：*
Indique de bloquer toutes les araignées. Après avoir effectué un traitement pseudo-statique, il y aura à la fois des pages Web dynamiques et des pages Web statiques. Le contenu des pages Web est exactement le même et est considéré comme une page miroir. Par conséquent, nous devons bloquer le Web dynamique. pages Vous pouvez utiliser le signe * pour bloquer les pages Web dynamiques.
Agent utilisateur ：*
Refuser:/?*?/
4 : $l'URL correspondante se termine
Si vous souhaitez intercepter les URL se terminant par une certaine chaîne, vous pouvez utiliser $. Par exemple, si vous souhaitez intercepter les URL se terminant par .asp :
Agent utilisateur ：*
Interdire：/*.asp$
Vous pouvez également ouvrir des sites Web relativement bons pour voir comment leurs fichiers robots sont écrits, puis apporter les modifications correspondantes en fonction de vos propres besoins. Les fichiers robots peuvent permettre aux robots de passer plus de temps sur le contenu à explorer, il est donc nécessaire d'optimiser les fichiers robots.
Cet article provient de Dongyang Gaofu : http://mygaofu.com . Veuillez indiquer le lien lors de la réimpression.
Rédacteur en chef : Yangyang Auteur J'aime optimiser l'espace personnel