-
robots.txt est le premier fichier que les robots des moteurs de recherche affichent lorsqu'ils explorent votre site. Ce fichier indique au programme du robot des moteurs de recherche quels fichiers de votre site sont autorisés à être consultés et lesquels ne le sont pas. De nos jours, les moteurs de recherche traditionnels respectent toujours cette réglementation. Hefei SEO en a une profonde compréhension. Ce site a débloqué le fichier robots.txt vers 23 heures le 20 pour permettre aux robots des moteurs de recherche d'y accéder. J'ai vérifié et Baidu l'a fermé. Le deuxième Google l'a également accepté.
Assez dit, passons aux choses sérieuses. robots.txt est un fichier texte. Il doit être nommé "robots.txt" et téléchargé dans le répertoire racine du site. Le téléchargement vers un sous-répertoire n'est pas valide car les robots des moteurs de recherche le rechercheront uniquement dans le répertoire racine de votre nom de domaine. . document. Encore une fois, il n'est pas nécessaire de perdre le temps de tout le monde ici si vous n'avez pas les connaissances de base de Hefei SEO. Vous pouvez accéder au centre d'aide de Baidu Search et au blog de l'administrateur chinois de Google. Ici, nous présentons principalement le fichier robots.txt du point de vue de. Rôle SEO dans le processus d’optimisation du site Web.
1. Conseils d'utilisation du fichier robots.txt bénéfiques pour l'optimisation du site Web
1. La création de sites Web en ligne constitue un moyen pratique. Lorsque nous résolvons le nom de domaine sur le serveur, nous pouvons accéder au site, mais pour le moment, le site n'est pas bien présenté et les balises méta sont toujours en désordre. Le site a actuellement été exploré et inclus par les robots des moteurs de recherche. S'il est modifié à ce moment-là, cela sera très préjudiciable à l'optimisation du référencement. À ce stade, vous pouvez utiliser le fichier robots.txt pour configurer tous les robots des moteurs de recherche afin qu'ils n'autorisent pas l'interrogation de tout le contenu du site. Son format de syntaxe est :
Agent utilisateur : *
Interdire : /
2. Personnalisez les robots des moteurs de recherche pour explorer le contenu spécifié, vous permettant ainsi de choisir comment gérer les moteurs de recherche en fonction des conditions du site. Il y a deux significations ici.
(1) Moteur de recherche personnalisé. Si vous méprisez ce que fait Du Niang, vous pouvez l'obliger à vous regarder comme ça. Son format de syntaxe est :
Agent utilisateur : baiduspider
Interdire : /
Remarque : noms courants des robots des moteurs de recherche.
Moteur de recherche de noms
Baiduspider http://www.baidu.com
Trottinette http://www.altaVista.com
ia_archiver http://www.Alexa.com
Googlebot http://www.google.com
FAST-WebCrawler http://www.alltheweb.com
Slurp http://www.inktomi.com
MSNBOT http://search.msn.com
(2) Personnaliser le contenu du site. C'est-à-dire que vous pouvez spécifier un répertoire pour permettre aux robots d'explorer et un répertoire pour interdire aux robots d'explorer. Par exemple, tous les robots des moteurs de recherche sont autorisés à explorer le contenu du répertoire abc, mais il leur est interdit d'explorer le contenu du répertoire def. Le format de syntaxe est :
Agent utilisateur : *
Autoriser : /abc/
Interdire : /def/
3. Guidez les moteurs de recherche pour explorer le contenu du site Web. Les méthodes les plus courantes ici sont
(1) Guidez les araignées pour explorer le plan de votre site. Son format de syntaxe est :
Agent utilisateur : *
plan du site : URL du plan du site
(2) Empêchez les araignées d'explorer votre site Web à la recherche de contenu en double.
4. Problème de page d’erreur 404. Si votre serveur personnalise une page d'erreur 404 et ne configure pas de fichier robots.txt dans le répertoire racine de votre site, les robots des moteurs de recherche le traiteront comme un fichier robots.txt, ce qui affectera l'inclusion des pages de votre site Web par les moteurs de recherche. .
2. Comment écrire un fichier robots.txt pour la création de sites Web à l'aide de programmes spécifiques. Ce ne sont que des questions générales, vous devez décider en fonction de votre situation spécifique.
1. Comment écrire le fichier robots.txt pour la création de sites Web DedeCMS
Agent utilisateur : *
Interdire : /plus/feedback_js.php
Interdire : /plus/feedback.php
Interdire : /plus/mytag_js.php
Interdire : /plus/rss.php
Interdire : /plus/search.php
Interdire : /plus/recommend.php
Interdire : /plus/stow.php
Interdire : /plus/count.php
Interdire : /inclure
Interdire : /modèles
Interdire : /membre
2. Comment écrire le fichier robots.txt pour la création de sites Web WordPress
Agent utilisateur : *
Interdire : /wp-admin
Interdire : /wp-content/plugins
Interdire : /wp-content/themes
Interdire : /wp-includes
Interdire : /?s=
Plan du site : http://www.***.com/sitemap.xml
3. Comment écrire le fichier robots.txt pour la création de sites Web phpcms
Agent utilisateur : *
Interdire : /admin
Interdire : /data
Interdire : /modèles
Interdire : /inclure
Interdire : /langues
Interdire : /api
Interdire : /fckeditor
Interdire : /installer
Interdire : /count.php
Interdire : /commentaire
Interdire : /livre d'or
Interdire : /annoncer
Interdire : /membre
Interdire : /message
Interdire : /araignée
Interdire : /yp
Interdire : /voter
Interdire : /vidéo
4. Comment écrire le fichier robots.txt dans le forum Discuz
Agent utilisateur : *
Autoriser : /redirect.php
Autoriser : /viewthread.php
Autoriser : /forumdisplay.php
Interdire : /?
Interdire : /*.php
Même si le sujet est ancien, il reste encore beaucoup à apprendre. Certaines personnes disent que la configuration du fichier robots.txt entraînera le risque d'être attaqué par des "personnes intentionnelles". En tant qu'attaquant de base, vous n'avez rien à craindre Puisque vous êtes une "personne intentionnelle", vous n'avez rien à faire (cela). n'est pas seulement le programme de création de site Web lui-même, mais aussi la sécurité du serveur, etc.). Tiré de Hefei SEO : http://www.anhuiseo.org Veuillez indiquer la source de la réimpression.
Merci à qhpf298 pour sa contribution