-
robots.txt는 검색 엔진 스파이더가 귀하의 사이트를 크롤링할 때 보는 첫 번째 파일입니다. 이 파일은 귀하의 사이트에서 볼 수 있는 파일과 볼 수 없는 파일을 검색 엔진 스파이더 프로그램에 알려줍니다. 현재 주류 검색 엔진은 여전히 이 규정을 준수하고 있습니다. 이 사이트는 20일 오후 11시경 robots.txt 파일에 대한 차단을 해제하여 검색 엔진 스파이더가 액세스할 수 있도록 했습니다. 확인해 보니 Baidu가 실제로 두 번째 Google도 이를 수락했습니다.
충분히 말한 것으로, 사업을 시작합시다. robots.txt는 텍스트 파일입니다. 이름은 "robots.txt"여야 하며 사이트의 루트 디렉터리에 업로드해야 합니다. 검색 엔진 로봇은 도메인 이름의 루트 디렉터리에서만 이를 찾기 때문에 하위 디렉터리에 업로드하는 것은 유효하지 않습니다. . 문서. 다시 말하지만, Hefei SEO에 대한 기본 지식이 없다면 여기에서 모든 사람의 시간을 낭비할 필요가 없습니다. Baidu 검색 도움말 센터 및 Google 중국어 관리자 블로그에 가면 주로 robots.txt를 관점에서 소개합니다. SEO. 웹사이트 최적화 과정에서의 역할.
1. 웹사이트 최적화에 도움이 되는 robots.txt 활용 팁
1. 온라인 홈페이지 구축은 편리한 방법을 제공합니다. 도메인 이름을 서버로 해석하면 사이트에 접속할 수 있지만, 이때는 사이트 구성이 제대로 되어 있지 않고 메타 태그도 여전히 엉망입니다. 현재 사이트는 검색 엔진 스파이더에 의해 크롤링되어 포함되어 있습니다. 이때 변경되면 SEO 최적화에 매우 해로울 수 있습니다. 이때 robots.txt 파일을 사용하여 모든 검색 엔진 스파이더가 사이트의 모든 콘텐츠에 대한 쿼리를 허용하지 않도록 설정할 수 있습니다. 구문 형식은 다음과 같습니다.
사용자 에이전트: *
허용하지 않음: /
2. 특정 콘텐츠를 크롤링하도록 검색 엔진 스파이더를 사용자 정의하여 사이트 조건에 따라 검색 엔진을 처리하는 방법을 선택할 수 있습니다. 여기에는 두 가지 의미가 있습니다.
(1) 맞춤형 검색 엔진. Du Niang이하는 일을 경멸한다면 그녀가 당신을 이렇게 쳐다 보게 만들 수 있습니다. 구문 형식은 다음과 같습니다.
사용자 에이전트: baiduspider
허용하지 않음: /
참고: 일반적인 검색 엔진 로봇 이름.
이름 검색 엔진
바이두스파이더 http://www.baidu.com
스쿠터 http://www.altaVista.com
ia_archiver http://www.Alexa.com
구글봇 http://www.google.com
FAST-WebCrawler http://www.alltheweb.com
후루룩 http://www.inktomi.com
MSNBOT http://search.msn.com
(2) 사이트 콘텐츠를 사용자 정의합니다. 즉, 스파이더의 크롤링을 허용하는 디렉토리와 스파이더의 크롤링을 금지하는 디렉토리를 지정할 수 있습니다. 예를 들어 모든 검색 엔진 스파이더는 abc 디렉터리 아래의 콘텐츠를 크롤링할 수 있지만 def 디렉터리 아래의 콘텐츠는 크롤링할 수 없습니다.
사용자 에이전트: *
허용: /abc/
허용하지 않음: /def/
3. 검색 엔진이 웹사이트 콘텐츠를 크롤링하도록 안내합니다. 여기서 가장 일반적인 방법은 다음과 같습니다.
(1) 스파이더가 사이트 맵을 크롤링하도록 안내합니다. 구문 형식은 다음과 같습니다.
사용자 에이전트: *
사이트맵:사이트맵-URL
(2) 스파이더가 중복 콘텐츠를 찾기 위해 웹사이트를 크롤링하는 것을 방지합니다.
4. 404 오류 페이지 문제. 서버가 404 오류 페이지를 사용자 정의하고 사이트의 루트 디렉터리에 robots.txt 파일을 구성하지 않는 경우 검색 엔진 스파이더는 이를 robots.txt 파일로 처리하여 검색 엔진이 웹 사이트 페이지를 포함하는 데 영향을 미칩니다. .
2. 특정 프로그램을 사용하여 웹사이트 구축을 위한 robots.txt를 작성하는 방법. 이는 일반적인 사항이므로 구체적인 상황에 따라 결정해야 합니다.
1. DedeCMS 웹사이트 구축을 위한 robots.txt 파일 작성 방법
사용자 에이전트: *
허용하지 않음: /plus/feedback_js.php
허용하지 않음: /plus/feedback.php
허용하지 않음: /plus/mytag_js.php
허용하지 않음: /plus/rss.php
허용하지 않음: /plus/search.php
허용하지 않음: /plus/recommend.php
허용하지 않음: /plus/stow.php
허용하지 않음: /plus/count.php
허용하지 않음: /include
허용하지 않음: /templets
허용하지 않음: /member
2. WordPress 웹사이트 구축을 위한 robots.txt 파일 작성 방법
사용자 에이전트: *
허용하지 않음: /wp-admin
허용하지 않음: /wp-content/plugins
허용하지 않음: /wp-content/themes
허용하지 않음: /wp-includes
허용하지 않음: /?s=
사이트맵: http://www.***.com/sitemap.xml
3. phpcms 웹사이트 구축을 위한 robots.txt 파일 작성 방법
사용자 에이전트: *
허용하지 않음: /admin
허용하지 않음: /data
허용하지 않음: /템플릿
허용하지 않음: /include
허용하지 않음: /언어
허용하지 않음: /api
허용하지 않음: /fckeditor
허용하지 않음: /install
허용하지 않음: /count.php
허용하지 않음: /comment
허용하지 않음: /guestbook
허용하지 않음: /알림
허용하지 않음: /member
허용하지 않음: /메시지
허용하지 않음: /거미
허용하지 않음: /yp
허용하지 않음: /vote
허용하지 않음: /video
4. discuz 포럼에 robots.txt 파일을 작성하는 방법
사용자 에이전트: *
허용: /redirect.php
허용: /viewthread.php
허용: /forumdisplay.php
허용하지 않음: /?
허용하지 않음: /*.php
오래된 주제이긴 하지만 아직 배울 점이 많습니다. 어떤 사람들은 robots.txt 파일을 설정하면 "의도적인 사람"의 공격을 받을 위험이 있다고 말합니다. 풀뿌리로서 앞으로는 "의도적인 사람"이므로 두려워할 것이 없습니다. 웹사이트 구축 프로그램 자체 뿐만 아니라 서버 보안 등도 포함됩니다. Hefei SEO에서: http://www.anhuiseo.org 재인쇄할 경우 출처를 표시해 주세요.
기여해 주신 qhpf298에게 감사드립니다.