-
robots.txt es el primer archivo que los motores de búsqueda ven cuando rastrean su sitio. Este archivo le indica al programa de los motores de búsqueda qué archivos de su sitio pueden verse y cuáles no. Hoy en día, los principales motores de búsqueda todavía cumplen con esta regulación. Hefei SEO tiene un conocimiento profundo de esto. Este sitio desbloqueó el archivo robots.txt alrededor de las 11 p. m. del día 20 para permitir que las arañas de los motores de búsqueda accedan a él. Lo verifiqué y Baidu lo cerró. El segundo Google también lo aceptó.
Dicho esto, pongámonos manos a la obra. robots.txt es un archivo de texto. Debe llamarse "robots.txt" y cargarse en el directorio raíz del sitio. La carga en un subdirectorio no es válida porque los robots de los motores de búsqueda solo buscarán esto en el directorio raíz de su nombre de dominio. . documento. Nuevamente, no hay necesidad de hacer perder el tiempo a todos aquí si no tiene los conocimientos básicos de Hefei SEO. Puede ir al Centro de ayuda de búsqueda de Baidu y al Blog del administrador chino de Google. Aquí, presentamos principalmente robots.txt desde la perspectiva de. Papel del SEO en el proceso de optimización del sitio web.
1. Consejos para utilizar robots.txt que resultan beneficiosos para la optimización del sitio web
1. La creación de sitios web en línea proporciona una forma conveniente. Cuando resolvemos el nombre de dominio en el servidor, podemos acceder al sitio, pero en este momento el sitio no está bien diseñado y las metaetiquetas todavía están desordenadas. El sitio en este momento ha sido rastreado e incluido por las arañas de los motores de búsqueda. Si se cambia en ese momento, será muy perjudicial para la optimización SEO. En este momento, puede utilizar el archivo robots.txt para configurar todos los motores de búsqueda para que no permitan consultar todo el contenido del sitio. Su formato de sintaxis es:
Agente de usuario: *
No permitir: /
2. Personalice las arañas de los motores de búsqueda para rastrear contenido específico, lo que le permitirá elegir cómo tratar con los motores de búsqueda según las condiciones del sitio. Hay dos significados aquí.
(1) Buscador personalizado. Si desdeñas lo que hace Du Niang, puedes hacer que ella te mire así. Su formato de sintaxis es:
Agente de usuario: baiduspider
No permitir: /
Nota: Nombres comunes de robots de motores de búsqueda.
motor de búsqueda de nombres
Baiduspider http://www.baidu.com
Scooter http://www.altaVista.com
ia_archiverhttp ://www.Alexa.com
Robot de Google http://www.google.com
FAST-WebCrawler http://www.alltheweb.com
Sorber http://www.inktomi.com
MSNBOThttp ://search.msn.com
(2) Personalizar el contenido del sitio. Es decir, puede especificar un directorio para permitir el rastreo de las arañas y un directorio para prohibir el rastreo de las arañas. Por ejemplo, todos los motores de búsqueda pueden rastrear el contenido del directorio abc, pero tienen prohibido rastrear el contenido del directorio def. El formato de sintaxis es:
Agente de usuario: *
Permitir: /abc/
No permitir: /def/
3. Guíe a los motores de búsqueda para que rastreen el contenido del sitio web. Los métodos más típicos aquí son
(1) Guíe a las arañas para que rastreen el mapa de su sitio. Su formato de sintaxis es:
Agente de usuario: *
mapa del sitio: URL del mapa del sitio
(2) Evite que las arañas rastreen su sitio web en busca de contenido duplicado.
4. Problema de página de error 404. Si su servidor personaliza una página de error 404 y no configura un archivo robots.txt en el directorio raíz de su sitio, los motores de búsqueda lo tratarán como un archivo robots.txt, lo que afectará la inclusión de las páginas de su sitio web por parte de los motores de búsqueda. .
2. Cómo escribir robots.txt para la creación de sitios web utilizando programas específicos. Estos son sólo generales, usted debe decidir según su situación específica.
1. Cómo escribir el archivo robots.txt para la creación de sitios web DedeCMS
Agente de usuario: *
No permitir: /plus/feedback_js.php
No permitir: /plus/feedback.php
No permitir: /plus/mytag_js.php
No permitir: /plus/rss.php
No permitir: /plus/search.php
No permitir: /plus/recommend.php
No permitir: /plus/stow.php
No permitir: /plus/count.php
No permitir: /incluir
No permitir: /templets
No permitir: /miembro
2. Cómo escribir el archivo robots.txt para la creación de sitios web en WordPress
Agente de usuario: *
No permitir: /wp-admin
No permitir: /wp-content/plugins
No permitir: /wp-content/themes
No permitir: /wp-incluye
No permitir: /?s=
Mapa del sitio: http://www.***.com/sitemap.xml
3. Cómo escribir el archivo robots.txt para la creación de sitios web phpcms
Agente de usuario: *
No permitir: /admin
No permitir: /datos
No permitir: /plantillas
No permitir: /incluir
No permitir: /idiomas
No permitir: /api
No permitir: /fckeditor
No permitir: /instalar
No permitir: /count.php
No permitir: /comentario
No permitir: /libro de visitas
No permitir: /anunciar
No permitir: /miembro
No permitir: /mensaje
No permitir: /araña
No permitir: /yp
No permitir: /votar
No permitir: /vídeo
4. Cómo escribir el archivo robots.txt en el foro discuz
Agente de usuario: *
Permitir: /redirect.php
Permitir: /viewthread.php
Permitir: /forumdisplay.php
No permitir: /?
No permitir: /*.php
Aunque el tema es antiguo, aún queda mucho por aprender. Algunas personas dicen que configurar el archivo robots.txt conllevará el riesgo de ser atacado por "personas intencionales". Como avance de base, no tienes nada que temer. Dado que eres una "persona intencional", no tienes nada que hacer (esto). no es sólo el programa de creación del sitio web en sí, sino también la seguridad del servidor, etc. De Hefei SEO: http://www.anhuiseo.org Indique la fuente para la reimpresión.
Gracias a qhpf298 por su contribución.