로봇 파일은 웹사이트와 스파이더 프로그램 간의 "신사 계약"입니다. 로봇 파일은 웹사이트 리소스를 절약할 수 있을 뿐만 아니라 스파이더가 웹을 보다 효과적으로 크롤링하는 데 도움을 주어 순위를 높일 수 있습니다.
1: Google 봇만 허용
Googlebot을 제외한 모든 크롤러를 차단하려면 다음 단계를 따르세요.
사용자 에이전트：*
허용하지 않습니다:/
Uer-agent: 허용된 스파이더 이름
허용하지 않음:
2: "/folder/"와 "/folder"의 차이점
예를 들어:
사용자 에이전트：*
허용하지 않음:/폴더/
허용하지 않음:/폴더
"Disallow:/folder/"는 디렉터리를 가로채는 것을 의미합니다. 이 디렉터리의 모든 파일은 크롤링이 허용되지 않지만 폴더.hlml은 크롤링이 허용됩니다.
"Disallow:/folder": /folder/ 아래의 모든 파일과 폴더.html을 크롤링할 수 없습니다.
3: "*"는 모든 문자와 일치합니다.
사용자 에이전트：*
모든 스파이더를 차단함을 나타냅니다. 의사 정적 처리를 수행하면 동적 웹 페이지와 정적 웹 페이지가 동시에 생성됩니다. 웹 페이지의 내용은 정확히 동일하며 미러 페이지로 간주됩니다. * 기호를 사용하여 동적 웹 페이지를 차단할 수 있습니다.
사용자 에이전트：*
허용하지 않음:/?*?/
4: $matching URL이 끝납니다.
특정 문자열로 끝나는 URL을 가로채려면 $를 사용할 수 있습니다. 예를 들어 .asp로 끝나는 URL을 가로채려는 경우:
사용자 에이전트：*
허용하지 않음:/*.asp$
또한 상대적으로 좋은 웹사이트를 열어 로봇 파일이 어떻게 작성되는지 확인한 다음 필요에 따라 해당 웹사이트를 수정할 수도 있습니다. 로봇 파일을 사용하면 스파이더가 크롤링할 콘텐츠에 더 많은 시간을 보낼 수 있으므로 로봇 파일 최적화가 필요합니다.
이 기사는 동양고부( http://mygaofu.com) 에서 발췌한 것입니다. 재인쇄 시 링크를 명시해 주십시오.
편집장 : 양양 작가 개인 공간 최적화를 좋아해요