ai.robots.txt
v1.19: adds DuckAssistBot, improves automation
AI 기업과 관련된 웹 크롤러와 차단할 LLM 교육의 공개 목록입니다. 귀하의 사이트에 이 목록을 작성하고 구현하는 것이 좋습니다. 나열된 크롤러에 대한 정보와 FAQ를 확인하세요.
이러한 크롤러 중 다수는 Dark Visitor에서 제공되었으며 이러한 크롤러를 추적하기 위해 기울이는 지속적인 노력에 감사드립니다.
목록에 크롤러에 대한 정보를 추가하려면 robots.txt , ai.txt 에 추가된 봇 이름과 table-of-bot-metrics.md 의 관련 세부정보를 포함하여 풀 요청을 해주세요. 사람들은 크롤링이 무엇인지 이해합니다.
기여에 대한 참고 사항: 업데이트는 robots.json 에 추가/작성되어야 합니다. 그런 다음 Adam이 제공하는 GitHub 작업을 통해 업데이트된 robots.txt 및 table-of-bot-metrics.md 가 생성됩니다.
릴리스 피드를 사용하여 RSS/Atom을 통해 목록 업데이트를 구독할 수 있습니다.
https://github.com/ai-robots-txt/ai.robots.txt/releases.atom
Feedly, Inoreader, The Old Reader, Feedbin 또는 기타 리더 앱을 통해 구독할 수 있습니다.
또는 이 페이지 상단의 "보기" 버튼을 클릭하고 "사용자 정의"를 클릭한 후 "릴리스"를 선택하여 GitHub 계정으로 새 릴리스를 구독할 수도 있습니다.
이 목록과 함께 Cloudflare의 하드 블록을 사용하는 경우 여기에서 robots.txt 따르지 않는 악의적인 크롤러를 신고할 수 있습니다.
