대다수의 웹마스터는 웹사이트가 검색 엔진에서 좋은 순위를 차지하는 것이 매우 중요하다는 것을 알고 있습니다. 따라서 많은 웹마스터는 검색 엔진을 기쁘게 하기 위해 최선을 다하고, 검색 엔진 스파이더를 황제처럼 대하고 싶고, 스파이더가 인정받기를 바라면서, 그러면 웹사이트 순위가 올라가는데 실제로는 거미를 잘 관리해도 좋은 순위를 얻을 수 없습니다. 거미를 황제처럼 대하더라도 인간의 감정이 없기 때문입니다. 나 역시 너에게 자비를 베풀지 않고 그냥 하고 싶은 대로 하므로 웹사이트 최적화 측면에서 보면 스파이더가 좋을수록 최적화 효과가 더 좋아진다는 것이 아니라 절충점을 알아야 한다! 예를 들어, ADMIN에서 스파이더를 제한하는 것 외에도 DATA를 크롤링할 때 다른 디렉터리에서도 스파이더를 적절하게 차단할 수 있는데, 이는 스파이더를 차단하는 몇 가지 기술을 분석해 보겠습니다.
1: 그림과 템플릿 디렉토리를 모두 차단할 수 있습니다.
현재 많은 웹마스터들이 인터넷에서 동일한 사진을 찾고 기성 템플릿을 적용하고 있기 때문입니다. 거미는 매우 역겹기 때문에 귀하의 웹사이트는 모방 및 부정행위로 분류될 것입니다. 따라서 검색 엔진의 호감을 얻기가 더 어려워질 것이므로 IMAGES 디렉토리는 일반적으로 차단될 수 있습니다.
2: 반복적인 인덱싱을 방지하기 위해 캐시 디렉터리를 차단할 수 있습니다.
거미는 매우 탐욕스럽습니다. 먹이만 주면 실제든 환상이든 모두 받아들입니다. 예를 들어 거미는 웹사이트의 캐시 디렉터리에 있는 콘텐츠를 색인화합니다. 이는 웹사이트의 콘텐츠와 다를 수밖에 없습니다. 중복이 너무 많으면 Baidu의 알고리즘 메커니즘은 귀하의 웹 사이트가 부정 행위를 하고 있다고 판단하여 웹 사이트의 비중을 높이고 일반적으로 각 웹 사이트 건물의 캐시 디렉토리에 큰 영향을 미칩니다. 프로그램이 다르기 때문에 다양한 웹사이트 구축 프로그램에 따라 해당 캐시 디렉터리를 차단해야 합니다!
3: CSS 디렉터리 및 일부 RSS 페이지를 차단해야 합니다.
CSS 디렉토리는 스파이더에게 전혀 쓸모가 없습니다. 크롤링 후에는 검색 엔진 알고리즘의 판단에 영향을 미치기 때문에 ROBOTS.TXT 파일을 통해 차단될 수도 있습니다. 또한 많은 웹 사이트 구축 프로그램의 RSS 페이지도 일종의 유형입니다. 결국 검색 엔진의 오판도 발생하게 됩니다. 콘텐츠의 두 가지 측면 모두 차단해야 합니다. 이러한 차단은 거미에게 무례한 것처럼 보이지만 실제로는 좋은 약과도 같습니다. 입으로는 병에 유익합니다! 좋은 조언은 귀에는 힘들지만 행동에는 좋습니다!
4: 페이지가 2개인 경우 동적 페이지를 먼저 차단합니다.
일반적으로 웹사이트의 정적 페이지는 검색 엔진에 의해 쉽게 인덱싱됩니다. 일반적으로 스파이더 크롤링과 인덱싱은 정적 페이지 외에도 대부분의 웹사이트에 "www.XXXX/1.html 및"과 같은 동적 페이지가 있습니다. www.xxxxx/asp?id=1 동일한 페이지를 참조하는 경우 차단되지 않으면 필연적으로 두 페이지가 동시에 스파이더에 의해 크롤링됩니다. 그러나 검색 엔진 알고리즘이 판단하면 발견되기 때문입니다. 두 개의 동일한 페이지가 있는 경우 귀하의 웹사이트가 부정행위로 의심되는 것으로 간주되므로 당사는 귀하의 웹사이트에 대한 검사를 강화할 것이며 이는 웹사이트의 순위에 영향을 미칠 것입니다. 따라서 올바른 접근 방식은 웹사이트의 동적 페이지를 차단하는 것입니다. 첫 번째!
다섯 번째: 웹사이트 보안 및 개인정보 보호와 관련된 콘텐츠를 차단해야 합니다.
ADMIN 및 DATA 디렉토리는 실제로 웹사이트의 보안 및 개인 정보 보호와 관련이 있다고 이 기사의 시작 부분에서 언급했습니다. 스파이더에 노출되어도 이점이 없으며 공격 채널이 더 많아질 수 있으므로 보안은- 데이터베이스 등 관련 디렉터리가 관련됩니다. 또한 일부 웹마스터는 웹사이트를 백업한 후 웹사이트를 다운로드하지만 다운로드 후 실수로 백업 파일을 삭제할 수 있습니다. 이는 스파이더에 의한 반복적인 크롤링으로 이어질 수 있으며, 해커의 공격으로 이어질 수도 있으므로 최소한 "RAR 및 Zip"과 같은 파일을 차단하려면 ROBOTS.TXT 파일을 사용하는 것이 매우 필요합니다! 웹사이트의 보안을 강화할 수 있습니다!
전체적으로, 맹목적으로 거미를 황제로 여긴다면, 적절한 최적화와 차폐를 통해 거미의 작업 압력을 해결하는 것이 가장 큰 칭찬이자 웹 사이트 최적화 수준을 향상시키는 방법이기도 합니다. 이 기사: http://www.wowawowa.cn/Wowawowa Weight Loss Network A5는 첫 번째 릴리스입니다. 재인쇄할 때 알려주세요. 감사합니다!
편집 담당 : 하드론 작가 장난의 개인 공간