Concernant le fichier robots.txt, la plupart des gens peuvent penser qu'il peut être écrit ou non. Si vous l'écrivez mal, vous aurez des ennuis, alors autant ne pas l'écrire du tout. En fait, dans l’optimisation des moteurs de recherche, robots.txt a plusieurs utilisations merveilleuses. Jetons maintenant un coup d'œil aux merveilleuses utilisations de robots.txt une par une.
1. Lors de la création d'un nouveau site, guidez l'araignée pour explorer la page de liste. Lorsqu'un nouveau site Web est créé pour la première fois, écrivez l'adresse de la colonne du site Web dans votre robots.txt pour l'exploration. Les exemples sont les suivants
# http://www.xxxxx.cn/ Site robots.txt optimisé
Agent utilisateur : *
Interdire : /
Interdire : /plus/advancedsearch.php
Interdire : /plus/car.php
Interdire : /plus/carbuyaction.php
Interdire : /plus/shops_buyaction.php
Interdire : /plus/erraddsave.php
Interdire : /plus/posttocar.php
Interdire : /plus/disdls.php
Interdire : /plus/feedback_js.php
Interdire : /plus/mytag_js.php
Interdire : /plus/rss.php
Interdire : /plus/search.php
Interdire : /plus/recommend.php
Interdire : /plus/stow.php
Interdire : /plus/count.php
Interdire : /inclure
Interdire : /modèles
Le fichier robots.txt par défaut de dedecms est utilisé, ce que je trouve personnellement plutôt bon.
2. Empêchez l'inclusion des pages de mauvaise qualité. Par exemple, l'une de vos pages Web est une page dynamique, content.asp, et vous pouvez obtenir un contenu différent via le paramètre id. Si vous devez ajouter un paramètre style pour afficher des pages avec des styles différents mais le même contenu à différents utilisateurs, puis, Pour une page de même contenu avec l'ID 1, il peut y avoir plusieurs liens.
content.asp?id=1
content.asp?id=1&style=rouge
content.asp?id=1&style=vert
Pour ces connexions, le contenu est le même mais les connexions sont différentes, ce qui peut conduire à l'apparition de contenu en double. Ici, vous pouvez bloquer l'inclusion de pages en double via robots.txt, comme suit :
Agent utilisateur : *
Interdire : content.asp?id=*&style=*
3. Pas besoin de soumettre le plan du site aux principaux moteurs de recherche. Google, Microsoft et Yahoo prennent tous déjà en charge cette extension de robots.txt. Cela permet également de gagner du temps lors de la soumission du plan du site.
Quant à la méthode d'écriture spécifique du robots.txt, il est recommandé de se référer au guide donné par Baidu, qui est très détaillé http://www.baidu.com/search/robots.html
Publié pour la première fois sur Webmaster.com, veuillez conserver le lien http://www.zzyoua.cn/ pour la réimpression.