Ayer analicé los registros de IIS. Afortunadamente, las arañas de Baidu, Google y Yahoo llegaron a rastrear. Parece que la optimización fue exitosa. Google rastreó con éxito las páginas que no habían sido rastreadas antes. Llegué y lo incluí, pero también encontré algunos problemas. Hay muchos registros de devolución de páginas 404 en los registros de rastreo de arañas de Google. Esto no es algo bueno, significa que no he limpiado el código y hay muchos muertos. campo de golf. Luego inicié sesión en Google y utilicé la herramienta de administración de sitios web para analizarlo. Dios mío, había 210 enlaces muertos. Supongo que la calidad de mis páginas no era muy buena para Google, pero tuve problemas para verificar tantas páginas 404. solo cambiándolos. Entonces pensé en robots.txt.
Debido a que las páginas 404 aquí básicamente terminan con asp, para una página 404 tan grande podemos configurarla así:
Agente de usuario: robot de Google
No permitir:/*.asp$
Vine aquí esta mañana para analizar los registros de rastreo de Google de anoche y, como era de esperar, ya no presté atención a estas páginas que terminan en asp.
Si una gran cantidad de enlaces inactivos no presentan páginas normales, no es adecuado utilizar robots.txt, por lo que otra forma es configurar manualmente la página 404. Generalmente, el backend proporcionado por el proveedor de alojamiento debe proporcionar una página 404. Si es un programa .net, puede configurar la página de error en web.config. Inicie sesión directamente en el servidor para modificar la página de retorno del código 404 procesada por IIS. En una palabra, cambiar la página 404 ayudará a guiar a los clientes. para saltar a Otras páginas útiles para captar clientes.
Este artículo es publicado por Koushuiyu Web Tutorial Network (http://www.koushuiyu.cn. Indique la reimpresión, ¡gracias!