거미, 로봇, 크롤러는 당신의 친구입니다. SEO를 원한다면 마음에 들어야 할 뿐만 아니라 실제로 사이트로 끌어들이기 위해 노력해야 합니다.
SEO 용어로 보면 스파이더, 로봇, 크롤러는 모두 거의 동일하지만 너무 걱정하지 마세요. 둘 다 다리나 안테나가 없기 때문입니다. 따라서 이들을 모두 "크롤러"라고 부르겠습니다. 때로는 이러한 봇을 유인하거나 사이트를 "거미 미끼"로 위장해야 한다는 점을 명심하세요. 그것은 모두 동일한 원칙에 속합니다. 그렇다면 크롤러란 무엇입니까? 이를 내 웹사이트에 초대해야 하는 이유는 무엇입니까? 크롤러는 인터넷의 다양한 URL을 계속해서 실행하는 프로그램 또는 자동화된 스크립트(종종 봇이라고도 함, 로봇의 약어)입니다. 크롤러는 탐색하는 웹 페이지의 링크를 통해 한 URL에서 다른 URL로 크롤링합니다.
주요 검색 엔진은 광대한 인터넷을 검색하기 위해 지속적으로 크롤러를 보냅니다. 크롤러는 먼저 각 페이지를 찾은 다음 페이지의 텍스트와 코드를 복사하여 거대한 인덱스 서버에 저장합니다. 이 프로세스를 크롤링이라고 합니다. 이 거대한 색인은 실제로 검색 엔진 크롤러가 성공적으로 액세스할 수 있는 모든 웹사이트 페이지를 포함하는 데이터베이스입니다. 색인은 검색 시 매우 빠르게 결과를 얻기 위한 저장소로 사용됩니다. 구글 등의 검색엔진에 검색어를 입력하고 제출하면 실제로는 당시 인터넷에 떠돌던 실제 콘텐츠가 아닌, 검색엔진에서 색인화한 모든 콘텐츠를 검색하는 셈이다. 물론 웹 페이지도 변경됩니다. 때로는 웹페이지와 웹사이트가 매우 짧은 주기로 변경되는 경우도 있습니다. 이 외에도 새로운 웹사이트와 웹페이지가 항상 빠른 속도로 등장합니다. 이것이 바로 크롤러가 항상 존재하여 웹을 계속해서 검색하고 검색 엔진 색인 정보를 구축 및 업데이트하는 이유입니다. 검색 엔진 색인 라이브러리의 콘텐츠는 웹을 탐색할 때 크롤러가 보는 콘텐츠입니다. 크롤러가 보는 것과 일반 방문자가 보는 것은 매우 다를 수 있습니다. 크롤러가 본 웹페이지의 콘텐츠가 무엇인지 확인하려면 IE 브라우저를 사용하여 해당 콘텐츠에 액세스한 다음 Ctrl-A 키 조합을 누르고 복사된 콘텐츠를 찾아보세요(Mac 시스템인 경우 다음을 수행할 수 있음). Apple-U 키 조합을 사용하십시오). 또는 Google을 사용하여 검색 결과 아래의 "웹 스냅샷" 링크를 클릭하면 크롤러가 찍은 페이지의 최근 스냅샷을 볼 수 있습니다. 무엇보다도 크롤러는 크롤링하는 모든 페이지의 단어와 구문을 결합합니다. 텍스트와 링크를 색인화합니다. 검색창에 검색어를 입력하면 검색 엔진은 검색어와 가장 일치하는 웹페이지를 찾으려고 합니다. 다양한 검색 엔진에는 고유한 크롤러가 있으며 예상한 대로 모두 동일한 방식으로 작동하지는 않습니다. 일부 크롤러는 페이지의 모든 콘텐츠를 검색하는 반면 다른 크롤러는 페이지의 특정 부분에만 관심을 가질 수 있습니다. 대부분의 크롤러는 페이지 제목과 페이지 상단에 있는 콘텐츠가 페이지 아래에 있는 콘텐츠보다 더 중요하다고 생각합니다. 크롤러는 웹사이트를 크롤링할 때 크롤링을 계속할 수 있는 링크가 없거나 이상한 기술이나 코드로 인해 발생하는 문제에 직면하는 등의 장애물에 직면하고 이를 극복하는 경우가 많습니다. 크롤러는 작업을 쉽게 완료하지 못하게 하는 기술적 장애물로 인해 함정에 빠질 수도 있습니다. 따라서 SEO 노력의 첫 번째 단계에서 중요한 부분은 크롤러가 사이트를 더 쉽게 발견하고 크롤링할 수 있도록 만드는 것입니다. 귀하의 사이트가 크롤러에 의해 크롤링되지 않은 경우 귀하 사이트의 검색 엔진 색인을 구축하지 않습니다. 페이지가 색인화되지 않은 경우 검색 엔진은 해당 페이지가 존재하지 않는다고 생각하기 때문에 검색 엔진에서 해당 페이지를 찾을 수 없습니다. 동시에 검색자는 경쟁업체의 페이지일 가능성이 높은 다른 페이지를 찾을 수도 있습니다. 링크와 잘 설계된 사이트 구조는 개별 웹 페이지와 웹 사이트 섹션, 그리고 사이트 내의 다른 웹 페이지와 섹션 간의 관계를 설정하는 다리입니다. 이렇게 하면 크롤러에게 크롤링할 수 있는 명확한 경로가 제공됩니다.
사이트맵 만들기
사이트맵을 만드는 것은 검색 엔진 크롤러가 사이트를 크롤링하는 데 도움이 되는 가장 쉬운 방법 중 하나입니다. 사이트맵은 크롤러에게 웹 사이트 콘텐츠의 URL 목록(적어도 웹 사이트 소유자가 크롤러에게 표시하려는 주소)을 제공하는 파일(일반적으로 xml 형식)입니다. 사이트맵에는 지정된 페이지가 마지막으로 업데이트된 시기, 업데이트 빈도, 사이트의 다른 콘텐츠와 관련된 중요성 등 각 URL에 대한 추가 정보가 포함될 수도 있습니다(예: 홈페이지가 '연락처'보다 더 중요함). 우리' 페이지) . 사이트맵에서 제공하는 정보는 검색 엔진 크롤러가 웹사이트를 보다 지능적으로 크롤링하는 데 도움이 됩니다. Google, MSN, Yahoo! 웹사이트 소유자의 모든 수락 요청에 사이트맵 제출을 요청하세요. 그러나 사이트맵에 제출된 URL이 크롤링되거나 색인이 생성될 것이라고 보장하는 회사는 없습니다. 사이트맵은 쉽게 직접 찾아볼 수 없는 정보를 제공하는 웹사이트에 유용합니다. 예를 들어, 일부 사이트는 사용자 검색을 통해서만 볼 수 있는 대규모 아카이브나 정보 데이터베이스를 저장합니다. 크롤러는 링크를 기반으로 정보만 크롤링하며 일반적으로 이러한 정보에는 가리키는 링크가 없다는 점을 기억하세요.
기사출처 : http://www.jysnj.com 재인쇄시 주소를 꼭 기재해주세요
편집장 : Chen Long 저자는 Er의 개인 공간을 물었습니다.