최근 많은 친구들의 웹사이트에서 동일한 문제가 발생했습니다. 즉, Baidu 검색 결과에서 웹사이트의 제목과 설명이 비정상적이고 불완전하게 표시되고, 웹사이트 스냅샷에 설명이 없으며, 웹사이트 스냅샷을 미리 볼 수 없지만 웹사이트가 이 문제에 대해 매일 스냅샷이 업데이트되고 있는데, 그 이유는 무엇입니까? 여기에서 저자가 이 문제의 원인과 해결 방법에 대해 이야기하겠습니다.
1. robots.txt 파일로 인해 발생한 문제
일반적으로 말하면, 이 명령은 검색 엔진이 이 링크를 따르거나 포함하지 않도록 지시하지만 Robots.txt에서 특정 URL이 "nofollow, noindex"로 설정된 경우에 발생합니다. 그러나 이 링크를 가리키는 외부 링크가 일정 개수 있는 경우 검색 엔진에 해당 URL이 포함될 수 있습니다. 이때, 제목은 URL일 수 있고, 설명은 비어 있을 수 있습니다. 물론 이러한 상황은 대부분 GOOGLE 검색 엔진에서 발생합니다. Baidu가 "nofollow, noindex" 링크를 포함하는 경우는 드물지만 이러한 가능성도 배제할 수는 없습니다.
작성자가 한 달 전에 클라이언트를 위해 웹사이트를 최적화했는데, 이 문제도 발생했습니다. robots.txt 파일이 수정되어 웹사이트 제목과 설명이 불완전하게 찍혀서 그 이유를 며칠간 찾아봤습니다. 그리고 아무런 결과도 나오지 않았습니다. robots.txt 문제일지도 모른다고 생각했는데, 나중에 우연히 발견해서 바로 수정했습니다. 그 결과, 다음 날 웹사이트가 정상으로 돌아왔으므로, 이러한 문제가 있는 친구는 robots.txt 파일을 확인해 보시기 바랍니다.
2. 웹사이트 내용 및 제목의 변경
이는 웹사이트의 제목, 설명, URL 경로의 전부 또는 대부분이 수정 및 조정된 경우와 같이 더 심각한 상황입니다. 이로 인해 죽은 페이지가 많이 발생하고 검색 엔진의 신뢰를 잃게 됩니다. 검색 엔진에서 해당 페이지가 사라진 후 이때 해당 페이지에 대한 외부 링크로 인해 검색 엔진이 해당 페이지를 다시 포함하기 시작합니다. 설명도 비어 있음에 대한 것일 가능성이 매우 높습니다.
웹사이트 개정이나 대규모 변경 후에는 오류 페이지 크롤링 및 404 오류 페이지 생성을 금지하도록 로봇을 설정하는 것이 좋습니다. 이는 한편으로는 사용자 손실을 줄일 수 있고, 다른 한편으로는 스파이더에게 다음과 같은 사실을 알려줄 수 있습니다. 이는 잘못된 주소이며 금지되어 있습니다. 스파이더는 존재하지 않는 웹 페이지를 크롤링하며 이 기간 동안 해당 웹 사이트에 대한 원본 콘텐츠와 고품질 외부 링크를 계속 업데이트합니다.
3. 바이두의 데이터 캡처 능력이 부족하다
이러한 상황은 주로 Baidu의 데이터 캡처 능력이 충분히 강력하지 않기 때문에 발생하는 것으로 관찰되었습니다. 특히 CDN을 사용하는 웹사이트의 경우 일반적으로 Baidu 크롤러는 도메인 이름에 해당하는 서버 IP를 하루 이상 캐시합니다. 스파이더가 웹사이트를 크롤링할 때 DNS 프로토콜에 따라 DNS 레코드를 캐시하지 않고 캐시합니다. 따라서 스파이더가 웹사이트를 크롤링할 때 DNS 프로토콜에 따라 DNS 레코드를 캐시하지 않습니다. CDN이 IP를 변경하면 Baidu Spider는 액세스할 수 없는 이전 서버 IP를 계속 크롤링합니다. 하루 안에. 이로 인해 특정 노드의 데이터가 크롤링되지 않고 웹사이트 제목과 설명이 제대로 표시되지 않습니다.
바이두의 데이터 분석 및 처리 능력은 여전히 강화될 필요가 있다. 이러한 상황에 직면한 웹마스터는 당황할 필요가 없습니다. 일반적으로 일주일 이내에 정상으로 돌아오기 때문입니다.
마지막으로, 웹마스터 친구들에게 웹사이트 자체와 사이트 외부 요소를 확인했을 때 아무런 문제가 없다면 당황하지 말고, 일반적인 상황에서는 바이두 자체의 문제이거나 데이터베이스 조정의 문제일 가능성이 높다는 점을 알려드립니다. 일주일 내로 정상적으로 복구됩니다. 이 기간 동안 사이트 내부와 외부에서 무슨 일이 일어나고 있는지 계속 분석해야 합니다.
이 글은 http://www.gzhj-gb.com 의 웹마스터가 기고한 것입니다. 모든 분들께 도움이 되기를 바랍니다. 재인쇄할 경우 출처를 명시해 주시기 바랍니다.
편집장 : 양양 작가 Langli Taojin의 개인 공간