Con respecto a robots.txt, la mayoría de la gente puede pensar que se puede escribir o no. Si lo escribe mal, tendrá problemas, por lo que es mejor no escribirlo en absoluto. De hecho, en la optimización de motores de búsqueda, robots.txt tiene varios usos maravillosos. Ahora echemos un vistazo a los maravillosos usos de robots.txt uno por uno.
1. Al crear un sitio nuevo, guíe a la araña para que rastree la página de la lista. Cuando se crea un nuevo sitio web por primera vez, escriba la dirección de la columna del sitio web en su archivo robots.txt para rastrearlo. Los ejemplos son los siguientes
# http://www.xxxxx.cn/ Sitio web optimizado robots.txt
Agente de usuario: *
No permitir: /
No permitir: /plus/advancedsearch.php
No permitir: /plus/car.php
No permitir: /plus/carbuyaction.php
No permitir: /plus/shops_buyaction.php
No permitir: /plus/erraddsave.php
No permitir: /plus/posttocar.php
No permitir: /plus/disdls.php
No permitir: /plus/feedback_js.php
No permitir: /plus/mytag_js.php
No permitir: /plus/rss.php
No permitir: /plus/search.php
No permitir: /plus/recommend.php
No permitir: /plus/stow.php
No permitir: /plus/count.php
No permitir: /incluir
No permitir: /templets
Se utiliza el archivo robots.txt predeterminado de dedecms, que personalmente creo que es bastante bueno.
2. Bloquee la inclusión de páginas de baja calidad. Por ejemplo, una de sus páginas web es una página dinámica, content.asp, y puede obtener contenido diferente a través del parámetro id. Si necesita agregar un estilo de parámetro para mostrar páginas con diferentes estilos pero el mismo contenido a diferentes usuarios, entonces, para una página con el mismo contenido con ID 1, puede haber varios enlaces.
contenido.asp?id=1
contenido.asp?id=1&style=rojo
content.asp?id=1&style=verde
Para estas conexiones, el contenido es el mismo pero las conexiones son diferentes, lo que puede provocar la aparición de contenido duplicado. Aquí puedes bloquear la inclusión de páginas duplicadas a través de robots.txt, de la siguiente manera:
Agente de usuario: *
No permitir: content.asp?id=*&style=*
3. No es necesario enviar un mapa del sitio a los principales motores de búsqueda. Google, Microsoft y Yahoo ya admiten esta extensión de robots.txt. Por lo que también ahorra tiempo al enviar el mapa del sitio.
En cuanto al método de escritura específico de robots.txt, se recomienda consultar la guía proporcionada por Baidu, que es muy detallada http://www.baidu.com/search/robots.html
Publicado por primera vez en Webmaster.com, conserve el enlace http://www.zzyoua.cn/ para reimprimirlo.