ai.robots.txt
v1.19: adds DuckAssistBot, improves automation
Esta é uma lista aberta de rastreadores da web associados a empresas de IA e ao treinamento de LLMs para bloquear. Incentivamos você a contribuir e implementar esta lista em seu próprio site. Veja informações sobre os rastreadores listados e o FAQ.
Vários desses rastreadores foram provenientes de Dark Visitors e agradecemos o esforço contínuo que eles fazem para rastreá-los.
Se desejar adicionar informações sobre um rastreador à lista, faça uma solicitação pull com o nome do bot adicionado a robots.txt , ai.txt e quaisquer detalhes relevantes em table-of-bot-metrics.md para ajudar as pessoas entendem o que está rastejando.
Uma observação sobre contribuição: atualizações devem ser adicionadas/feitas em robots.json . Uma ação do GitHub, cortesia de Adam, gerará o robots.txt e table-of-bot-metrics.md atualizados.
Você pode se inscrever para receber atualizações da lista via RSS/Atom com o feed de lançamentos:
https://github.com/ai-robots-txt/ai.robots.txt/releases.atom
Você pode se inscrever no Feedly, Inoreader, The Old Reader, Feedbin ou qualquer outro aplicativo de leitura.
Alternativamente, você também pode assinar novos lançamentos com sua conta GitHub clicando no botão "Assistir" no topo desta página, clicando em "Personalizado" e selecionando "Versões".
Se você usar o hard block da Cloudflare junto com esta lista, poderá denunciar rastreadores abusivos que não respeitam robots.txt aqui.
