ai.robots.txt
v1.19: adds DuckAssistBot, improves automation
這是與人工智慧公司相關的網路爬蟲的開放清單以及法學碩士的培訓以阻止。我們鼓勵您在自己的網站上貢獻並實施此清單。查看有關列出的爬網程序和常見問題解答的資訊。
其中許多爬蟲來自黑暗訪客,我們感謝他們為追蹤這些爬蟲所做的持續努力。
如果您想將有關爬蟲的信息添加到列表中,請發出拉取請求,並將機器人名稱添加到robots.txt
、 ai.txt
以及table-of-bot-metrics.md
中的任何相關詳細資訊以提供幫助人們了解什麼是爬行。
關於貢獻的註解:應為robots.json
新增/進行更新。 Adam 提供的 GitHub 作業將產生更新的robots.txt
和table-of-bot-metrics.md
。
您可以透過 RSS/Atom 和發布來源訂閱清單更新:
https://github.com/ai-robots-txt/ai.robots.txt/releases.atom
您可以使用 Feedly、Inoreader、The Old Reader、Feedbin 或任何其他閱讀器應用程式進行訂閱。
或者,您也可以透過點擊本頁頂部的“觀看”按鈕,點擊“自訂”並選擇“發布”,使用 GitHub 帳戶訂閱新版本。
如果您在此列表旁邊使用 Cloudflare 的硬阻止,則可以在此處報告不尊重robots.txt
的濫用爬蟲程式。