La grande majorité des webmasters savent qu'il est très important pour un site Web d'obtenir un bon classement dans les moteurs de recherche, c'est pourquoi de nombreux webmasters font de leur mieux pour plaire aux moteurs de recherche, souhaitant traiter les robots des moteurs de recherche comme des empereurs, espérant que les Spiders soient appréciés, améliorant ainsi le classement du site Web, mais en fait, même si l'araignée est bien entretenue, elle ne peut pas obtenir un bon classement. Pourquoi est-ce parce que les araignées n'ont pas d'émotions humaines, même si vous les traitez comme un empereur ? Je n'ai pas non plus de pitié pour vous, faites ce que vous voulez, donc en termes d'optimisation de site Web, ce n'est pas que plus les araignées sont bonnes, meilleur sera l'effet d'optimisation, mais vous devez connaître les compromis. apprenez les compétences pour bloquer certains spiders ! Par exemple, en plus de restreindre les spiders dans ADMIN Lorsque vous explorez DATA, vous pouvez également bloquer correctement les spiders sur d'autres répertoires, ce qui est également très bénéfique. Analysons plusieurs techniques de blocage des spiders !
1 : Les répertoires d’images et de modèles peuvent être bloqués
Parce que de nombreux webmasters recherchent actuellement les mêmes images sur Internet et appliquent des modèles prêts à l'emploi. Ces modèles et images sont actuellement inondés sur Internet, si vous laissez votre site Web être à nouveau exploré par des araignées. les choses vous mettront naturellement en colère. Les araignées sont très dégoûtées, donc votre site Web sera étiqueté comme imitant et trichant. Il sera plus difficile de gagner la faveur des moteurs de recherche, donc le répertoire IMAGES peut généralement être bloqué !
2 : Le répertoire cache peut être bloqué pour empêcher une indexation répétée
Les araignées sont très gourmandes. Tant que vous les nourrissez, elles les accepteront toutes, qu'elles soient réelles ou illusoires. Par exemple, l'araignée indexera le contenu du répertoire cache du site Web, qui sera forcément différent du contenu du site. duplication du site Web. S'il y a trop de duplications, le mécanisme de l'algorithme de Baidu pensera que votre site Web triche, ce qui augmentera même le poids de votre site Web et aura un grand impact sur le site Web. Le programme est différent, il est nécessaire de bloquer les répertoires de cache correspondants en fonction des différents programmes de création de sites Web !
Troisièmement : les répertoires CSS et certaines pages RSS doivent être bloqués
Le répertoire CSS est totalement inutile pour les robots. Après l'exploration, il affectera le jugement de l'algorithme du moteur de recherche, il peut donc être bloqué via le fichier ROBOTS.TXT. De plus, les pages RSS de nombreux programmes de création de sites Web en sont également une sorte. de duplication de contenu. En fin de compte, cela entraînera également des erreurs d'appréciation de la part des moteurs de recherche. Les deux aspects du contenu doivent être bloqués. Ce type de blocage semble irrespectueux envers les araignées, mais en fait, c'est comme un bon médicament, qui est amer ! dans la bouche et bon pour la maladie ! Les bons conseils sont durs pour les oreilles mais bons pour les actes !
Quatre : S'il y a deux pages, bloquez d'abord la page dynamique
De manière générale, les pages statiques d'un site Web sont facilement indexées par les moteurs de recherche. Généralement, l'exploration et l'indexation par les araignées sont deux choses différentes. En plus des pages statiques, la plupart des sites Web ont également des pages dynamiques, telles que "www.XXXX/1. html et". www.xxxxx/asp?id=1 fait référence à la même page. Si elles ne sont pas bloquées, les deux pages seront inévitablement explorées par des robots en même temps. Cependant, lorsque l'algorithme du moteur de recherche le déterminera, car il sera découvert. S'il y a deux pages identiques, on considérera que votre site Web est soupçonné de tricherie, nous augmenterons donc l'inspection de votre site Web, ce qui affectera le classement du site Web. Par conséquent, la bonne approche consiste à bloquer les pages dynamiques du site Web. d'abord!
Cinq : le contenu lié à la sécurité et à la confidentialité du site Web doit être bloqué
Il a été mentionné au début de cet article que les répertoires ADMIN et DATA sont en fait liés à la sécurité et à la confidentialité du site Web. Il n'y a aucun avantage à l'exposer aux araignées, et il peut même y avoir plus de canaux d'attaque, donc la sécurité. les répertoires associés, tels que les bases de données, sont impliqués. Le répertoire, le répertoire des journaux du site Web et le répertoire de sauvegarde doivent tous être bloqués. De plus, certains webmasters téléchargent le site Web après avoir sauvegardé le site Web, mais suppriment accidentellement le fichier de sauvegarde après le téléchargement. Cela peut facilement conduire à des explorations répétées par des araignées, et il est également facile de le faire. Cela peut conduire à des attaques de pirates informatiques, il est donc très nécessaire d'utiliser les fichiers ROBOTS.TXT pour bloquer les fichiers comme "RAR et Zip" à tout le moins ! peut améliorer la sécurité du site Web !
Dans l'ensemble, si vous considérez aveuglément les araignées comme des empereurs, vous serez souvent flatteur. Résoudre la pression de travail des araignées grâce à une optimisation et un blindage appropriés est la plus grande flatterie, et c'est aussi le moyen d'améliorer le niveau d'optimisation du site Web ! cet article : http://www.wowawowa.cn/Wowawowa Weight Loss Network A5 est la première version, veuillez l'indiquer lors de la réimpression, merci !
Rédacteur en charge : L'espace personnel de Jiangnan, l'auteur de Hadron