robots.txt

Robots.txt 文件模板

Jonas Jacek 的 Robots.txt 模板已移至 ditig.com。

该存储库将很快关闭。

---

该存储库包含 2 个robots.txt 文件模板，可帮助网站管理员将不需要的网络机器人（例如抓取机器人、人物搜索引擎、搜索引擎优化工具、营销工具等）远离其网站，但允许合法的机器人（例如搜索引擎爬虫）。

为了合法并被列入名单，机器人必须完全遵守机器人排除标准。 robots.txt 文件模板包含白名单。根据机器人排除标准的约定，未列出的机器人（用户代理）不允许访问。

文件

模板文件

robots.txt 模板文件包含按字母顺序排列的合法网络机器人白名单。在评论版本中，每个机器人都会在用户代理（列表）上方的评论中进行简短描述。取消注释或删除您不希望允许访问您的网站的机器人（用户代理）。

robots.txt 文件有两个版本：

1. 常规文件（带注释）
   /robots.txt
2. 缩小的文件（无注释）
   /robots.min.txt

如果您使用缩小版本，请不要忘记将其重命名为robots.txt才能生效。