La ventaja de colocar el enlace del mapa del sitio en el archivo robots.txt es que el webmaster no tiene que ir a las herramientas para webmasters de cada motor de búsqueda o a una sección similar para webmasters para enviar su propio archivo de mapa del sitio. Este método puede ayudar a los webmasters a reducir su trabajo.
Todos los principales motores de búsqueda han lanzado una nueva forma de admitir mapas de sitios, que consiste en incluir directamente enlaces a archivos de mapas de sitios en el archivo robots.txt. Las empresas de motores de búsqueda que actualmente apoyan esto incluyen a Google y Yahoo, pero las empresas de motores de búsqueda chinas obviamente no están en este círculo.
La ventaja de esto es que el webmaster no necesita ir a las herramientas para webmasters o secciones similares de cada motor de búsqueda para enviar su propio archivo de mapa del sitio. La araña del motor de búsqueda rastreará el archivo robots.txt y leerá su contenido. ruta del mapa del sitio y luego rastrear las páginas web vinculadas.
Esto se basa en la suposición de que robots.txt ya es un estándar, todos los sitios web tienen al menos uno y el mapa del sitio aún está estableciendo un estándar. Este enfoque puede reducir el trabajo de los webmasters, y si no necesitan un índice más detallado. busque información, entonces solo necesita incluir el mapa del sitio en robots.txt.
Comencemos ahora y modifiquemos el archivo robots.txt.
# #robots.txt para xxx.com # Versión 2009.04.04 # Agente de usuario: * No permitir: /función/ No permitir: /FCKeditor/ No permitir: /CACHÉ/ No permitir: /SCRIPT/ No permitir: /ADMIN/ No permitir: /wap.asp No permitir: /cmd.asp Mapa del sitio: http://www.xxx.com/sitemap.xml |
Autor: iyx.cc http://www.iyx.cc Si se reproduce, asegúrese de conservar el enlace del autor y esta declaración. ¡Gracias por su cooperación!