ai.robots.txt
v1.19: adds DuckAssistBot, improves automation
这是与人工智能公司相关的网络爬虫的开放列表以及法学硕士的培训以阻止。我们鼓励您在自己的网站上贡献并实施此列表。查看有关列出的爬网程序和常见问题解答的信息。
其中许多爬虫来自黑暗访客，我们感谢他们为跟踪这些爬虫所做的持续努力。
如果您想将有关爬虫的信息添加到列表中，请发出拉取请求，并将机器人名称添加到robots.txt 、 ai.txt以及table-of-bot-metrics.md中的任何相关详细信息以提供帮助人们了解什么是爬行。
关于贡献的注释：应向robots.json添加/进行更新。 Adam 提供的 GitHub 操作将生成更新的robots.txt和table-of-bot-metrics.md 。
您可以通过 RSS/Atom 和发布源订阅列表更新：
https://github.com/ai-robots-txt/ai.robots.txt/releases.atom
您可以使用 Feedly、Inoreader、The Old Reader、Feedbin 或任何其他阅读器应用程序进行订阅。
或者，您也可以通过单击本页顶部的“观看”按钮，单击“自定义”并选择“发布”，使用 GitHub 帐户订阅新版本。
如果您在此列表旁边使用 Cloudflare 的硬阻止，则可以在此处报告不尊重robots.txt的滥用爬虫程序。
