SEO를 수행하는 모든 사람은 웹사이트가 검색 엔진에 포함되기 위한 핵심이라는 것을 알고 있습니다. 귀하의 사이트가 검색 엔진에 포함되지 않으면 SEO는 불가능합니다. 따라서 귀하의 웹사이트가 검색 엔진에 의해 검색되고 귀하의 웹 페이지가 검색 엔진에 의해 적절하게 색인화되도록 하려면 먼저 귀하의 사이트를 스파이더가 쉽게 크롤링할 수 있도록 만들어야 합니다. 검색 엔진이 웹 페이지를 크롤링하는 데 사용하는 도구를 스파이더 또는 크롤러 로봇이라고 하며 영어 이름은 로봇입니다. 이러한 스파이더는 하이퍼링크를 따라 당사의 많은 페이지를 크롤링하지만 일부 페이지는 크롤링할 수 없습니다. 그 중 일부는 웹사이트 자체에 스파이더 크롤링에 도움이 되지 않는 문제가 있어 검색 엔진에서 해당 페이지를 색인화하기 어렵기 때문입니다. 따라서 ""스파이더 트랩"을 형성하는 것은 일반적으로 검색 엔진에 적합하지 않은 웹 사이트 제작 기술을 의미합니다. 이러한 기술은 거미가 우리 페이지를 크롤링하는 데 도움이 되지 않습니다. 이러한 상황을 피하기 위해 Xiaowuming은 거미를 방지하기 위해 다음 요소를 요약했습니다. 함정에 들어갑니다.
1: 세션 ID를 사용하는 페이지. 일부 판매 사이트는 특정 사용자 정보를 분석하기 위해 세션 ID를 사용합니다. 각 사용자는 동일한 스파이더의 URL에 세션 ID를 추가합니다. 스파이더가 URL을 방문할 때마다 세션 ID가 추가됩니다. 이로 인해 동일한 페이지가 생성되지만 결과적으로 중복되는 콘텐츠 페이지가 생성됩니다. 또한 가장 일반적인 거미 함정 중 하나입니다. 예를 들어, 일부 웹사이트에서는 판매 실적을 향상시키기 위해 안녕하세요, XXX 친구 등 팝업 대화를 진행합니다.
2: 페이지에 액세스하기 위해 강제 등록 또는 로그인을 사용하는 상식적인 스파이더 트랩 스파이더는 등록을 제출할 수 없고 콘텐츠를 보기 위해 로그인하기 위해 사용자 이름과 비밀번호를 입력할 수 없기 때문에 스파이더에게는 매우 어렵습니다. 클릭하여 직접 보는 것도 거미가 볼 수 있는 콘텐츠입니다.
3: 제가 Flash를 사용하는 사이트를 좋아합니다. 제가 Flash를 사용하는 사이트를 좋아한다고 말하는 이유는 일부 중소기업의 경우 Flash 자체가 많은 효과를 낼 수 있기 때문입니다. 특히 탐색에 사용할 경우 더욱 그렇습니다. 시각적인 효과가 강하기 때문에 많은 기업의 웹사이트에서는 회사의 강점, 문화, 제품 등을 보여주기 위해 플래시를 사용하는 것을 선호합니다. 심지어 일부 기업 사이트의 홈페이지도 플래시를 사용하거나 일정 시간이 지나면 플래시를 통해 다른 페이지로 이동합니다. 링크를 사용하면 사용자가 클릭하여 새 페이지로 들어갈 수 있지만 플래시에서는 스파이더가 내용을 읽기 어렵기 때문에 스파이더가 플래시에서 링크를 클릭하는 것도 어렵습니다.
4: 동적 URL, URL에 너무 많은 기호 또는 URL 매개변수 추가 등. 이러한 종류의 스파이더 트랩은 URL 최적화에서 언급했지만 검색 엔진의 기술 발전으로 인해 동적 URL은 스파이더가 크롤링하는 데 덜 효과적입니다. 점점 문제가 줄어들고 있지만 검색 엔진 친화성 측면에서 정적 또는 심지어 의사 정적 URL이 동적 URL보다 상대적으로 더 좋습니다. 얼마나 많은 SEO 동료가 URL을 처리하는지 살펴볼 수 있습니다.
5: 프레임은 초기에는 어디에서나 널리 사용되었지만 현재 프레임 웹 페이지의 많은 웹 사이트에서는 거의 사용되지 않습니다. 첫째, 주요 CMS 시스템의 개발로 인해 웹 사이트 유지 관리가 상대적으로 쉬워졌습니다. 프레임이 사용되는 이유는 웹 사이트 페이지를 유지 관리하는 데 편리하기 때문입니다. 게다가 더 이상 검색 엔진에 포함시키는 데 도움이 되지 않으며 프레임이 점점 더 적게 사용되는 이유 중 하나입니다.
6: JS, 이제 검색 엔진이 JavaScript로 링크를 추적하고 분해하고 분석할 수도 있지만, JS를 통해 일부 효과적인 탐색이 수행될 수 있지만 검색 엔진이 스스로 어려움을 극복할 것이라고 기대하지는 않는 것이 좋습니다. 그러나 CSS도 가능합니다. 검색 엔진에 대한 웹사이트의 친숙성을 향상시키기 위해 웹페이지를 스파이더가 더 잘 크롤링할 수 있도록 만드는 것이 좋습니다. 물론, SEO에서는 js의 한 가지 장점은 웹마스터가 그렇게 한다는 것입니다. 페이지가 포함되는 것을 원하지 않거나 친숙한 링크에서 js를 사용할 수 있습니다. Javascript 스파이더 트랩을 제거하는 또 다른 방법은 <noscript> 태그를 사용하는 것입니다. <noscript> 태그는 JavaScript를 지원하지 않는 브라우저에 대한 대체 코드를 제공합니다. 스파이더는 JavaScript를 실행하지 않으므로 대신 <noscript> 코드를 처리합니다.
7: 딥 웹 페이지 중 일부는 입구가 없고 웹 사이트 홈페이지와 멀리 떨어져 있어 스파이더가 크롤링하기가 상대적으로 어렵습니다. 물론, 가중치가 높은 웹 사이트의 경우에는 문제가 다를 수 있습니다. 웹사이트 페이지가 포함되려면 먼저 기본 가중치가 있어야 하며, 일반적으로 홈페이지의 가중치가 가장 높으며 내부 페이지의 가중치가 적용됩니다. 이 이론에 따르면 페이지 간 가중치 이전은 감소하므로 내부 페이지와 홈 페이지 사이의 클릭 거리가 가까울수록 더 많은 가중치를 받기 쉽습니다. 홈페이지에서 전송하세요. 좋은 웹사이트 구조는 웹사이트의 더 많은 페이지를 포함할 수 있게 해줍니다.
8: 쿠키 강제 사용은 검색 엔진에 대한 쿠키를 직접 비활성화하는 것과 같습니다. 일부 웹사이트는 사용자 액세스 경로 추적, 사용자 정보 기억 또는 사용자 개인 정보 도용 등과 같은 특정 기능을 달성하기 위해 강제 쿠키를 사용합니다. 사용자가 해당 사이트를 방문할 때 쿠키를 활성화하지 않으면 표시되는 페이지가 비정상적으로 나타나므로 스파이더가 동일한 웹 페이지에 정상적으로 접근할 수 없습니다.
9: 다양한 형태의 점프. 많은 SEO 어린이들이 이미 301 리디렉션에 매우 익숙하다고 생각합니다. 그러나 스파이더는 다른 302나 메타 새로고침, 자바스크립트, 플래시 등과 같은 점프에 매우 혐오감을 느끼며 301은 마지막이 아닙니다. 리조트를 사용하면 어떤 점프든 거미가 기어가는 데 어느 정도 방해가 되므로 아시죠.
10: Robots.txt 작성 오류 및 숨겨진 텍스트, 숨겨진 링크 등과 같은 다양한 부정 행위 기술, 위장된 웹 페이지를 사용하여 다른 웹 페이지를 표시하여 방문자가 스파이더인지 일반 브라우저인지 확인하고 기본 오류를 사용합니다. 404 페이지 등도 거미에게 크롤링 장애를 유발합니다. 이 기사의 출처: 심천 SEO 웹사이트: http://www.zhsem.com/ 독창성을 존중하고 재인쇄할 때 표시해 주십시오. 감사합니다!
작가 Xiao Wuming의 개인 공간