스파이더가 우리 웹사이트의 콘텐츠를 제대로 탐색할 수 없다면 우리가 웹사이트에 아무리 많은 노력을 쏟더라도 아무 소용이 없을 것입니다. 이러한 일이 발생하지 않도록 하는 가장 좋은 방법은 의심할 여지 없이 전체 웹사이트의 구조를 완벽하게 계획할 수 있다는 것입니다.
우선, 웹사이트를 구축하기 전에 우리 모두는 스파이더 크롤링의 패턴과 규칙을 잘 이해해야 합니다. 왜냐하면 검색 엔진이 웹사이트의 소스 코드를 탐색하고 크롤링하기 위해 스파이더, 즉 작은 로봇을 사용한다는 것을 우리 모두 알고 있기 때문입니다. 정보를 수집하여 검색 엔진 데이터베이스에 제출한 다음 웹 사이트 페이지를 포함하는 효과를 달성하고 특정 알고리즘 규칙에 따라 디렉토리 배열을 생성하는 스파이더는 모두 간단하게 이해해야 합니다.
스파이더가 우리 웹사이트의 콘텐츠를 잘 스캔하고 크롤링하고 캡처할 수 있다면 우리 웹사이트의 가중치 순위는 필연적으로 크게 향상될 것입니다. 따라서 우리 웹사이트가 스파이더에 의해 잘 크롤링될 수 있도록 편집자는 다음을 권장합니다. 웹 사이트에 너무 많은 패턴과 구조적 레이아웃을 추가하면 웹 사이트의 콘텐츠가 제대로 크롤링되지 않을 수 있습니다. 아래에는 거미가 우리 웹 사이트를 싫어하게 만드는 웹 사이트 www.name2012.com 에 대한 5가지 일반적인 이유가 나열되어 있습니다. 그 이유는 참고용입니다:
(1) 네비게이션이 너무 복잡하다
나는 많은 웹사이트 디자이너와 편집자들이 네비게이션 디자인에 있어 특별한 고민을 하고 있다고 생각합니다. 왜냐하면 네비게이션 가이드 설정이 너무 복잡하고 웹사이트가 전체 사이트 링크이기 때문에 웹사이트의 전체적인 무게와 사용자 경험에 매우 중요하기 때문입니다. , 일반적으로 스파이더가 더 복잡한 코드를 크롤링하기 어렵거나 크롤링이 쉽지 않습니다. 따라서 복잡한 탐색으로 인해 의심할 여지 없이 스파이더가 많은 우회를 하게 되고 이로 인해 우리 웹사이트가 만족스럽지 않게 포함되며 사용자가 레이어별로 클릭하게 됩니다. , 이는 의심할 여지 없이 우리 웹사이트에 도움이 될 것입니다. 이는 시간 낭비적인 경험이며 원하는 콘텐츠를 직접 찾을 수 없습니다. 따라서 복잡한 탐색은 스파이더와 사용자 모두에게 매우 해롭습니다.
해결책: 사용자가 원하는 주제 콘텐츠를 빠르게 찾을 수 있도록 웹사이트의 간단한 탐색 구조를 설계하고, 레벨 3과 레벨 4 열이 잘 반영될 수 있도록 기본 탐색 아래에 드롭다운 탐색을 추가할 수 있습니다.
(2) 웹사이트의 콘텐츠가 이미지와 스크립트 파일에 너무 많이 표시됩니다.
검색 엔진 스파이더는 주로 텍스트와 스크립트로 구성된 콘텐츠를 크롤링하기 위해 일부 가상 도구를 사용합니다. 그러나 스파이더가 Flash 및 이미지 콘텐츠를 크롤링할 수 있는 방법이 없으므로 이는 의심할 여지 없이 웹 사이트 UI 디자이너에게 중요한 문제입니다.
해결 방법: 일부 형태의 변환된 콘텐츠를 통해 검색 엔진 스파이더가 웹 사이트 코드를 식별할 수 있도록 하고 일부 검색 엔진 스파이더 시뮬레이션 크롤러를 사용하여 웹 사이트를 크롤링하고 크롤링 중에 문제가 있는 경우 이를 관찰할 수도 있습니다. 많은 콘텐츠가 손실되거나 차단된 경우 거미가 크롤링하도록 유인하도록 마법사를 재설정해야 합니다.
(3) 일관성 없는 링크 작업을 수행하지 마십시오.
웹사이트 링크를 구축할 때 검색 엔진 스파이더는 사람들과 동일한 판단 및 사고 기준을 가질 수 없다는 것을 모두 알고 있으므로 이름 지정에 매우 주의해야 합니다. 이때 스파이더는 링크된 페이지에 표현하려는 내용이 무엇인지 확실히 혼동하게 됩니다. 비록 우리 인간은 이러한 논리를 여러 번 이해할 수 있지만 결국 검색 엔진 스파이더는 그렇지 않습니다. 아직은 충분히 인도적이므로 많은 경우 거미가 가장 좋아하는 형태에 따라 연결해야 합니다.
스파이더가 판단할 수 없는 안내 콘텐츠를 피하기 위해 포인팅 링크에 대해 일관되고 동일한 코드를 사용하여 포인팅 링크로 표현된 콘텐츠를 고유하게 만들어야 합니다.
(4) 웹사이트의 잘못된 리디렉션.
이 점은 웹사이트의 301 리디렉션에 설계되었습니다. 즉, 301 리디렉션을 사용하여 페이지 사이를 이동한다는 의미입니다. 그렇다면 301 리디렉션은 언제 사용하게 될까요? 먼저 스파이더가 페이지를 크롤링할 때 우리가 가리키는 페이지로 이동하는 기능이 있다는 점을 이해해야 합니다. 일반적으로 우리는 이를 WWW 리디렉션 없이 도메인 이름 리디렉션에 사용합니다. 실제로는 그렇지 않습니다. 콘텐츠를 게시할 때 실수로 중복된 콘텐츠를 게시하는 경우가 많으며, 현재로서는 검색 엔진에 모든 페이지가 포함되어 있으므로 이를 삭제할 수 없습니다. 따라서 301 리디렉션을 사용하여 한 페이지에서 다른 페이지로 이동할 수 있습니다. 이는 중복된 콘텐츠로 간주될 뿐만 아니라 가중치도 축적하는 방법입니다.
(5) 사이트 맵이 잘못되었습니다.
귀하의 웹 사이트가 잘 포함되기를 원한다면 사이트 맵은 스파이더가 빠르게 크롤링하고 크롤링할 수 있도록 하는 중요한 채널입니다. 그러나 잘못된 맵은 웹 사이트 크롤링에 매우 해로울 수 있으므로 맵이 정확성을 나타내는지 확인해야 합니다. 물론 일반 CMS 배경에는 이제 자체 지도 생성 기능이 포함되어 있으므로 일반적으로 한 번의 클릭으로 생성할 수 있습니다. 물론, 귀하의 웹사이트가 일부 플랫폼에서 실행되고 있는 경우 사이트 맵을 자동으로 생성하는 일부 플러그인을 다운로드해야 합니다. 그래도 작동하지 않으면 HTML 코드를 사용하여 지도 페이지를 수동으로 구축할 수 있습니다. 빌드된 다음 검색 엔진에 제출합니다.
요약: 일반적으로 스파이더가 웹사이트를 좋아하지 않는 이유는 일반적으로 웹사이트 콘텐츠가 원본이 아니거나 수집된 것이 아니라는 점을 제외하고는 다음과 같은 다섯 가지 상황입니다. 물론 세부적인 오류도 있지만 결국 각 웹사이트의 상황은 다음과 같습니다. 다르기 때문에 편집자는 간단한 설명을 위해 몇 가지 일반적인 상황을 나열할 수 있습니다. 이 기사에 대해 다른 의견이 있으면 조언을 주십시오. 오늘은 이 기사가 Lehu의 웹마스터가 작성한 것입니다. com http://www.6hoo.com 원본 요약입니다. 재인쇄하려면 출처를 표시해 주세요. 감사합니다!
(편집자: Chen Long) Lehu.com의 작가 개인 공간