Em relação ao robots.txt, a maioria das pessoas pode pensar que ele pode ser escrito ou não. Se você escrever errado, terá problemas, então é melhor não escrevê-lo. Na verdade, na otimização de mecanismos de pesquisa, o robots.txt tem vários usos maravilhosos. Agora vamos dar uma olhada nos maravilhosos usos do robots.txt, um por um.
1. Ao criar um novo site, oriente o spider para rastrear a página da lista. Quando um novo site for criado pela primeira vez, escreva o endereço da coluna do site em seu robots.txt para rastreamento. Os exemplos são os seguintes
# http://www.xxxxx.cn/ Robots.txt otimizado para site
Agente do usuário: *
Proibir: /
Não permitir: /plus/advancedsearch.php
Não permitir: /plus/car.php
Não permitir: /plus/carbuyaction.php
Não permitir: /plus/shops_buyaction.php
Não permitir: /plus/erraddsave.php
Não permitir: /plus/posttocar.php
Não permitir: /plus/disdls.php
Não permitir: /plus/feedback_js.php
Não permitir: /plus/mytag_js.php
Não permitir: /plus/rss.php
Não permitir: /plus/search.php
Não permitir: /plus/recommend.php
Não permitir: /plus/stow.php
Não permitir: /plus/count.php
Proibir: /incluir
Não permitir: /templets
O robots.txt padrão do dedecms é usado, o que pessoalmente considero muito bom.
2. Impedir a inclusão de páginas de baixa qualidade. Por exemplo, uma de suas páginas da web é uma página dinâmica, content.asp, e você pode obter conteúdo diferente por meio do parâmetro id. Se precisar adicionar um parâmetro style para exibir páginas com estilos diferentes, mas com o mesmo conteúdo para usuários diferentes, então, para uma página com o mesmo conteúdo com ID 1, pode haver vários links.
content.asp?id=1
content.asp?id=1&style=vermelho
content.asp?id=1&style=verde
Para essas conexões, o conteúdo é o mesmo, mas as conexões são diferentes, o que pode levar ao aparecimento de conteúdo duplicado. Aqui, você pode bloquear a inclusão de páginas duplicadas através do robots.txt, da seguinte forma:
Agente do usuário: *
Não permitir: content.asp?id=*&style=*
3. Não há necessidade de enviar o mapa do site aos principais mecanismos de pesquisa. Google, Microsoft e Yahoo já suportam esta extensão do robots.txt. Portanto, também economiza tempo para enviar o mapa do site
Quanto ao método específico de escrita do robots.txt, é recomendável consultar o guia fornecido pelo Baidu, que é muito detalhado http://www.baidu.com/search/robots.html
Publicado pela primeira vez em Webmaster.com, mantenha o link http://www.zzyoua.cn/ para reimpressão.