robots.txt
1.0.0
La plantilla Robots.txt de Jonas Jacek se ha trasladado a ditig.com.
Este repositorio se cerrará en breve.
Este repositorio contiene 2 plantillas de archivos robots.txt para ayudar a los webmasters a mantener los robots web no deseados (por ejemplo, robots raspadores, motores de búsqueda de personas, herramientas de SEO, herramientas de marketing, etc.) alejados de sus sitios web, pero permiten robots legítimos (por ejemplo, rastreadores de motores de búsqueda).
Para ser legítimos y aparecer en la lista, los robots deben obedecer plenamente el Estándar de exclusión de robots . Las plantillas de archivos robots.txt contienen una lista blanca. Los robots no listados (agentes de usuario), según las convenciones del Estándar de exclusión de robots, no tienen permitido el acceso.
Los archivos de plantilla robots.txt contienen una lista blanca ordenada alfabéticamente de robots web legítimos . En la versión comentada, cada bot se describe brevemente en un comentario encima de la (lista de) agentes de usuario. Descomente o elimine los bots (agentes de usuario) que no desea permitir que accedan a su sitio web.
Hay dos versiones del archivo robots.txt:
/robots.txt/robots.min.txt Si utiliza la versión minimizada, no olvide cambiarle el nombre a robots.txt para que sea efectiva.
