Les araignées, les robots et les chenilles sont vos amis. Si vous voulez du référencement, vous devez non seulement les aimer, mais vous devez en fait faire tout votre possible pour les attirer sur votre site.
En termes de référencement, les araignées, les robots et les robots d'exploration sont tous à peu près la même chose, mais ne vous inquiétez pas trop : aucun d'entre eux n'a de pattes ou d'antennes. Alors, utilisons le mot « crawler » pour les appeler tous. Gardez à l’esprit que vous devez parfois attirer ces robots ou déguiser votre site en « appât pour araignées ». Tout cela relève du même principe. Alors, qu’est-ce qu’un robot d’exploration ? Pourquoi devrions-nous l’inviter sur mon site Web ? Un robot d'exploration est un programme ou un script automatisé (souvent appelé bot, abréviation de robot) qui continue de s'exécuter sur diverses URL sur Internet. Les robots explorent d'une URL à une autre via les liens présents sur les pages Web qu'ils parcourent.
Les principaux moteurs de recherche envoient continuellement leurs robots parcourir la vaste étendue d’Internet. Le robot trouve d'abord chaque page, puis copie le texte et le code sur la page et les stocke sur son énorme serveur d'index. Ce processus est appelé exploration. Cet énorme index est en fait une base de données contenant toutes les pages de sites Web auxquelles les robots des moteurs de recherche peuvent accéder avec succès. L'index sert de référentiel pour obtenir des résultats très rapidement lors de vos recherches. Lorsque vous saisissez un terme de recherche sur un moteur de recherche tel que Google et que vous le soumettez, vous recherchez en réalité tout le contenu indexé par le moteur de recherche, et non le contenu réel d'Internet à ce moment-là. Bien entendu, les pages Web changent. Parfois, les pages Web et les sites Web changent selon des cycles très courts. En plus de cela, de nouveaux sites Web et pages Web apparaissent constamment à un rythme rapide. C'est pourquoi les robots d'exploration sont toujours là, parcourant le Web encore et encore, et créant et mettant à jour les informations d'index des moteurs de recherche. Le contenu de la bibliothèque d’index du moteur de recherche est ce que le robot voit lorsqu’il navigue sur le Web. Ce que voit le robot d’exploration peut être très différent de ce que voit le visiteur moyen. Si vous souhaitez voir quel est le contenu d'une page Web vue par le robot d'exploration, vous pouvez utiliser le navigateur IE pour y accéder, puis appuyer sur la combinaison de touches Ctrl-A et parcourir le contenu copié (s'il s'agit d'un système Mac, vous pouvez utilisez la combinaison de touches Apple-U). Vous pouvez également utiliser Google et cliquer sur le lien « Web Snapshot » sous les résultats de recherche pour voir les instantanés récents de la page pris par le robot d'exploration. Avant tout, les robots d’exploration combinent des mots et des expressions de chaque page qu’ils explorent. Ils indexent le texte et les liens. Lorsque vous saisissez un terme de recherche dans le champ de recherche, le moteur de recherche essaie de trouver la page Web qui correspond le mieux à l'expression de recherche. Différents moteurs de recherche ont leurs propres robots d'exploration et, comme on peut s'y attendre, ils ne fonctionnent pas tous exactement de la même manière. Certains robots récupèrent tout le contenu d’une page, tandis que d’autres peuvent s’intéresser uniquement à certaines parties de celle-ci. La plupart des robots pensent que le titre de la page et le contenu en haut de la page sont plus importants que le contenu plus bas dans la page. Les robots d'exploration rencontrent et surmontent souvent des obstacles lorsqu'ils explorent un site Web, par exemple lorsqu'il n'existe aucun lien leur permettant de continuer l'exploration, ou lorsqu'ils rencontrent des problèmes causés par une technologie ou un code étrange. Les robots peuvent également tomber dans des pièges en raison d’obstacles techniques qui les empêchent d’accomplir facilement leur travail. Ainsi, une partie importante de la première étape de tout effort de référencement consiste à permettre aux robots d’exploration de découvrir et d’explorer plus facilement votre site. Si votre site n’a pas été exploré par les robots d’exploration, ils ne créeront pas d’index des moteurs de recherche de votre site. Si une page n’est pas indexée, les chercheurs ne la trouveront pas dans les moteurs de recherche, car ceux-ci pensent que la page n’existe pas. Dans le même temps, les internautes peuvent trouver d’autres pages, très probablement celles de vos concurrents. Les liens et la structure du site bien conçue sont les ponts qui établissent la relation entre les pages Web individuelles et les sections du site Web et les autres pages Web et sections du site. Cela fournira aux robots un chemin clair sur lequel explorer.
Créer un plan du site
La création d'un plan de site est l'un des moyens les plus simples d'aider les robots des moteurs de recherche à explorer votre site. Un plan de site est un fichier (généralement au format XML) qui fournit aux robots d'exploration une liste d'URL pour le contenu d'un site Web, au moins les adresses que le propriétaire du site Web souhaite que les robots voient. Le plan du site peut également inclure des informations supplémentaires pour chaque URL, telles que la date de la dernière mise à jour de la page spécifiée, la fréquence de mise à jour et son importance par rapport aux autres contenus du site (par exemple, la page d'accueil est plus importante que l'onglet "Contact". "Nous") . Les informations fournies par le plan du site aident les robots des moteurs de recherche à explorer le site Web de manière plus intelligente. Google, MSN, Yahoo! et Ask acceptent tous les demandes des propriétaires de sites Web de soumettre des plans de site. Cependant, il convient de noter qu'aucune entreprise ne garantit que les URL soumises pour le plan du site seront explorées ou indexées. Les plans de site sont utiles pour les sites Web qui fournissent des informations difficiles à parcourir directement. Par exemple, certains sites stockent de grandes archives ou des bases de données d'informations qui ne peuvent être consultées que via les recherches des utilisateurs. N'oubliez pas que les robots d'exploration explorent uniquement les informations basées sur des liens et que, généralement, ces informations ne disposent pas de liens vers lesquels pointer.
Source de l'article : http://www.jysnj.com Veuillez indiquer l'adresse lors de la réimpression
Rédacteur en chef : Chen Long L'auteur a demandé l'espace personnel d'Er