ai.robots.txt

ai.robots.txt

これは、AI 企業に関連する Web クローラーとブロックする LLM のトレーニングの公開リストです。このリストに貢献し、ご自身のサイトに実装することをお勧めします。リストされているクローラーに関する情報と FAQ を参照してください。

これらのクローラーの多くは Dark Visitor から供給されており、これらのクローラーを追跡するために彼らが継続的に取り組んでいることに感謝します。

クローラーに関する情報をリストに追加したい場合は、 robots.txt 、 ai.txtにボット名を追加し、 table-of-bot-metrics.mdに関連する詳細を追加してプル リクエストを作成してください。人々は何が這っているのかを理解しています。

貢献する

貢献に関する注意: 更新はrobots.jsonに追加/行われる必要があります。 Adam の好意による GitHub アクションにより、更新されたrobots.txtとtable-of-bot-metrics.mdが生成されます。

更新情報を購読する

リリース フィードを使用して、RSS/Atom 経由でリストの更新を購読できます。

 https://github.com/ai-robots-txt/ai.robots.txt/releases.atom

Feedly、Inoreader、The Old Reader、Feedbin、またはその他のリーダー アプリで購読できます。

あるいは、このページの上部にある [Watch] ボタンをクリックし、[Custom] をクリックして [Releases] を選択することで、GitHub アカウントで新しいリリースをサブスクライブすることもできます。

不正なクローラーを報告する

このリストと併せて Cloudflare のハード ブロックを使用する場合は、 robots.txt尊重しない不正なクローラーをここで報告できます。

追加のリソース

• Nginx によるボットのブロック (Robb Knight 著)
• ボットをブロックします。イーサン・マルコット著
• FlaMEd furyによる11tyとApacheによるボットのブロック
• Netlify でボットをブロックする by Jeremia Kimelman
• AI Web クローラーのブロック (Glyn Normington 著)
• Robots.txt を使用して Web サイトの巡回から AI ボットをブロックする by Jonathan Gillham、Originality.AI