ai.robots.txt
v1.19: adds DuckAssistBot, improves automation
Dies ist eine offene Liste von Webcrawlern, die mit KI-Unternehmen und der Schulung von LLMs zum Blockieren in Verbindung stehen. Wir ermutigen Sie, zu dieser Liste beizutragen und sie auf Ihrer eigenen Website zu implementieren. Sehen Sie sich Informationen zu den aufgeführten Crawlern und die FAQ an.
Einige dieser Crawler stammen von Dark Visitors und wir schätzen die kontinuierlichen Bemühungen, die sie unternehmen, um diese Crawler zu verfolgen.
Wenn Sie der Liste Informationen zu einem Crawler hinzufügen möchten, stellen Sie bitte eine Pull-Anfrage mit dem zu robots.txt und ai.txt hinzugefügten Bot-Namen und allen relevanten Details in table-of-bot-metrics.md , um zu helfen Die Leute verstehen, was da vor sich geht.
Ein Hinweis zum Mitwirken: Aktualisierungen sollten zu robots.json hinzugefügt/vorgenommen werden. Eine GitHub-Aktion mit freundlicher Genehmigung von Adam generiert dann die aktualisierten robots.txt und table-of-bot-metrics.md .
Sie können Listenaktualisierungen über RSS/Atom mit dem Release-Feed abonnieren:
https://github.com/ai-robots-txt/ai.robots.txt/releases.atom
Sie können sich mit Feedly, Inoreader, The Old Reader, Feedbin oder einer anderen Reader-App anmelden.
Alternativ können Sie neue Releases auch mit Ihrem GitHub-Konto abonnieren, indem Sie oben auf dieser Seite auf die Schaltfläche „Ansehen“ klicken, auf „Benutzerdefiniert“ klicken und „Releases“ auswählen.
Wenn Sie den harten Block von Cloudflare neben dieser Liste verwenden, können Sie hier missbräuchliche Crawler melden, die robots.txt nicht respektieren.
