A vantagem de colocar o link do mapa do site no arquivo robots.txt é que o webmaster não precisa ir às ferramentas para webmasters de cada mecanismo de pesquisa ou seção semelhante para webmasters para enviar seu próprio arquivo de mapa do site. Este método pode ajudar os webmasters a reduzir seu trabalho.
Todos os principais mecanismos de pesquisa lançaram uma nova maneira de oferecer suporte a mapas de sites, que consiste em incluir links diretamente para arquivos de mapas de sites no arquivo robots.txt. As empresas de mecanismos de busca que atualmente oferecem suporte a isso incluem Google e Yahoo, mas as empresas chinesas de mecanismos de busca obviamente não estão neste círculo.
A vantagem disso é que o webmaster não precisa acessar as ferramentas para webmasters ou seções semelhantes para webmasters de cada mecanismo de pesquisa para enviar seu próprio arquivo de mapa do site. O spider do mecanismo de pesquisa rastreará o arquivo robots.txt e lerá o conteúdo nele. caminho do mapa do site e, em seguida, rastreie as páginas da web vinculadas.
Isso se baseia na suposição de que o robots.txt já é um padrão, todos os sites têm pelo menos um e o mapa do site ainda está estabelecendo um padrão. Essa abordagem pode reduzir o trabalho dos webmasters, e se eles não precisarem de um índice mais detalhado e. informações de pesquisa, você só precisa incluir o mapa do site no robots.txt.
Vamos começar agora e modificar o arquivo robots.txt.
# # robots.txt para xxx.com # Versão 2009.04.04 # Agente do usuário: * Proibir: /função/ Proibir: /FCKeditor/ Proibir: /CACHE/ Não permitir: /SCRIPT/ Proibir: /ADMIN/ Não permitir: /wap.asp Não permitir: /cmd.asp Mapa do site: http://www.xxx.com/sitemap.xml |
Autor: iyx.cc http://www.iyx.cc Se reproduzido, certifique-se de manter o link do autor e esta declaração. Obrigado pela sua cooperação!