robots.txt

Robots.txt 檔案模板

Jonas Jacek 的 Robots.txt 範本已移至 ditig.com。

該存儲庫將很快關閉。

---

該儲存庫包含 2 個robots.txt 檔案模板，可協助網站管理員將不需要的網路機器人（例如抓取機器人、人物搜尋引擎、搜尋引擎優化工具、行銷工具等）遠離其網站，但允許合法的機器人（例如搜尋引擎爬蟲）。

為了成為合法的並被列入名單，機器人必須完全遵守機器人排除標準。 robots.txt 檔案範本包含白名單。根據機器人排除標準的約定，未列出的機器人（用戶代理）不允許存取。

文件

範本文件

robots.txt 範本檔案包含按字母順序排列的合法網路機器人白名單。在評論版本中，每個機器人都會在用戶代理程式（清單）上方的評論中進行簡短描述。取消註釋或刪除您不希望允許訪問您的網站的機器人（用戶代理）。

robots.txt 檔案有兩個版本：

1. 常規文件（附註）
   /robots.txt
2. 縮小的文件（無註釋）
   /robots.min.txt

如果您使用縮小版本，請不要忘記將其重命名為robots.txt才能生效。