robots.txt

Robots.txt 파일 템플릿

Jonas Jacek의 Robots.txt 템플릿이 ditig.com으로 이동되었습니다.

이 저장소는 곧 폐쇄됩니다.

---

이 저장소에는 웹 마스터가 원치 않는 웹 로봇(예: 스크래퍼 봇, 사람 검색 엔진, SEO 도구, 마케팅 도구 등)을 웹 사이트에서 멀리하고 합법적인 로봇(예: 검색 엔진 크롤러)을 허용하는 데 도움이 되는 2개의 robots.txt 파일 템플릿이 포함되어 있습니다.

합법적이고 등재되려면 로봇이 로봇 배제 표준을 완전히 준수해야 합니다. robots.txt 파일 템플릿에는 화이트리스트가 포함되어 있습니다. 목록에 없는 로봇(사용자 에이전트)은 로봇 제외 표준의 규정에 따라 액세스가 허용되지 않습니다.

파일

템플릿 파일

robots.txt 템플릿 파일에는 합법적인 웹 로봇의 알파벳순 화이트리스트가 포함되어 있습니다. 주석이 달린 버전에서 각 봇은 사용자 에이전트(들) 목록 위의 주석에 간략하게 설명되어 있습니다. 귀하의 웹 사이트에 대한 액세스를 허용하지 않으려는 봇(사용자 에이전트)의 주석을 해제하거나 삭제하십시오.

robots.txt 파일 버전은 두 가지가 있습니다.

1. 일반 파일(주석 포함)
   /robots.txt
2. 축소된 파일(댓글 없음)
   /robots.min.txt

축소된 버전을 사용하는 경우 이름을 robots.txt 로 바꾸는 것을 잊지 마세요.