robots.txt 파일의 웹사이트 맵 링크 사용에 대한 간략한 설명

robots.txt 파일에 사이트맵 링크를 배치하면 웹마스터가 자신의 사이트맵 파일을 제출하기 위해 각 검색 엔진의 웹마스터 도구 또는 유사한 웹마스터 섹션으로 이동할 필요가 없다는 이점이 있습니다. 이 방법은 웹마스터가 작업을 줄이는 데 도움이 될 수 있습니다.

모든 주요 검색 엔진은 사이트맵을 지원하는 새로운 방법을 출시했습니다. 이는 robots.txt 파일에 사이트맵 파일에 대한 링크를 직접 포함하는 것입니다. 현재 이를 지원하는 검색 엔진 회사에는 Google과 Yahoo가 포함되지만 중국 검색 엔진 회사는 분명히 이 서클에 속하지 않습니다.

이것의 장점은 웹마스터가 자신의 사이트맵 파일을 제출하기 위해 각 검색 엔진의 웹마스터 도구나 유사한 웹마스터 섹션으로 이동할 필요가 없다는 것입니다. 검색 엔진 스파이더는 robots.txt 파일을 크롤링하고 그 안에 있는 콘텐츠를 읽습니다. 사이트맵 경로를 선택한 다음 링크된 웹페이지를 크롤링합니다.

이는 robots.txt가 이미 표준이고, 모든 웹사이트에 하나 이상의 표준이 있으며, 사이트맵이 여전히 표준을 확립하고 있다는 가정에 기초합니다. 이 접근 방식은 웹마스터의 작업을 줄일 수 있으며, 더 자세한 색인과 정보를 검색하려면 robots.txt에 사이트맵만 포함하면 됩니다.

지금부터 robots.txt 파일을 수정해 보겠습니다.

 #
# xxx.com용 robots.txt
# 버전 2009.04.04
#

사용자 에이전트: *

허용하지 않음: /기능/
허용하지 않음: /FCKeditor/
허용하지 않음: /CACHE/
허용하지 않음: /SCRIPT/
허용하지 않음: /ADMIN/
허용하지 않음: /wap.asp
허용하지 않음: /cmd.asp
사이트맵: http://www.xxx.com/sitemap.xml