ai.robots.txt
v1.19: adds DuckAssistBot, improves automation
Это открытый список веб-сканеров, связанных с компаниями, занимающимися искусственным интеллектом, и обучением LLM блокированию. Мы призываем вас внести свой вклад в этот список и разместить его на своем сайте. См. информацию о перечисленных сканерах и часто задаваемые вопросы.
Некоторые из этих сканеров были получены от Dark Visitors, и мы ценим их постоянные усилия по отслеживанию этих сканеров.
Если вы хотите добавить информацию о сканере в список, отправьте запрос на включение, добавив имя бота в robots.txt , ai.txt и любую соответствующую информацию в table-of-bot-metrics.md чтобы помочь. люди понимают, что ползет.
Примечание о вкладе: обновления следует добавлять/вносить в robots.json . Действие GitHub, любезно предоставленное Адамом, затем создаст обновленные robots.txt и table-of-bot-metrics.md .
Вы можете подписаться на обновления списка через RSS/Atom с помощью ленты выпусков:
https://github.com/ai-robots-txt/ai.robots.txt/releases.atom
Вы можете подписаться на Feedly, Inoreader, The Old Reader, Feedbin или любое другое приложение для чтения.
Кроме того, вы также можете подписаться на новые выпуски с помощью своей учетной записи GitHub, нажав кнопку «Смотреть» вверху этой страницы, нажав «Пользовательский» и выбрав «Выпуски».
Если вы используете жесткую блокировку Cloudflare вместе с этим списком, вы можете сообщить здесь о злоумышленных сканерах, которые не уважают robots.txt .
