Vous trouverez un fichier robots.txt dans le FTP de nombreux sites Web. De nombreux webmasters savent seulement qu'il s'agit d'un fichier qui restreint l'accès des araignées. Ce fichier a-t-il d'autres fonctions ?
Qu'est-ce qu'un fichier robots ? Ce fichier est un pont de communication entre les moteurs de recherche et les sites Web. Chaque fois qu'un moteur de recherche explore un site Web, il vérifie d'abord ce fichier, tout comme la clé du fichier. porte pareil. Si ce fichier n'existe pas, cela signifie que l'exploration des moteurs de recherche n'est pas restreinte. Si ce fichier existe, il sera analysé selon les exigences spécifiées dans le fichier. Certains webmasters peuvent se demander : lorsque nous construisons un site Web, nous avons absolument besoin qu'il soit indexé par les moteurs de recherche, alors pourquoi devrions-nous restreindre son exploration. Les moteurs de recherche rechercheront l'intégralité du site pendant le processus d'exploration, et il peut y avoir du contenu dans votre site ? site Web que vous avez collecté, ou des pages similaires sans contenu substantiel, l'évaluation de votre site Web sera considérablement réduite une fois que le moteur de recherche l'aura exploré, et cela n'aura pas d'effet SEO. Cependant, le fichier robots peut le dire à l'araignée. Voir les pages auxquelles il ne veut pas accéder, cela réduit également indirectement la charge sur le serveur.
Il y a plusieurs choses à noter à propos de ce fichier :
1. Le nom du fichier ne peut pas être mal orthographié et doit être en minuscules, et le suffixe doit être .txt.
2. Le fichier doit être placé dans le répertoire racine du site Web, tel que : http://www.taofengyu.com/robots.txt , et doit être accessible.
3. La syntaxe du contenu du fichier doit être correcte. Généralement, User-agent et Disallow sont couramment utilisés :
Agent utilisateur :* signifie que tous les robots des moteurs de recherche sont autorisés à explorer et à inclure. Si vous ne souhaitez pas que Baidu inclue votre site Web, remplacez * par "baiduspider", le contenu restreint par Disallow ne sera pas exploré et inclus par Baidu. araignées. Inclus. Si vous souhaitez restreindre l'exploration de l'ensemble du site, le fichier Disallow doit être écrit sous la forme "Disallow:/". Si vous souhaitez empêcher l'exploration des fichiers d'un certain dossier, écrivez-le sous la forme "Disallow:/admin". /". Si vous souhaitez restreindre l'exploration des fichiers commençant par admin, écrivez "Disallow:/admin", et ainsi de suite. Vous souhaitez restreindre l'exploration des fichiers dans un certain dossier. Par exemple, vous souhaitez restreindre l'exploration du index.htm dans le dossier admin, la syntaxe Disallow est écrite comme "Disallow:/admin/index.htm". S'il n'y a pas de "/" après Disallow, cela signifie que toutes les pages du site Web peuvent être explorées et incluses.
Généralement, les robots n'ont pas besoin d'explorer les fichiers de gestion en arrière-plan, les fonctions du programme, les fichiers de base de données, les fichiers de feuilles de style, les fichiers de modèles, certaines images du site Web, etc.
4. La fonction Disallow doit exister dans le fichier robots, ce qui est un facteur clé pour l'établissement de ce fichier.
Tout dépend de l’importance et des méthodes des fichiers robots. J’espère que cela pourra être utile à tout le monde.
L'article provient du Taofengyu Student Supplies Network http://www.taofengyu.com/ Veuillez indiquer la source lors de la réimpression et respecter le travail de l'auteur.
L'espace personnel de l'auteur pour les jouets pour enfants sur Taobao