오늘은 바이두에 작은 웹사이트를 포함시킨 경험을 웹마스터 친구들에게 간략하게 소개하고 싶습니다. 많은 친구들이 웹사이트를 구축하는 과정에서 이런 문제를 겪은 적이 있을 것 같아서 제 접근 방식을 공유하고 싶습니다. 많은 웹사이트에서 Baidu는 왜 모든 내부 페이지가 아닌 하나의 홈페이지만 포함합니까? 실제로 이 문제는 IIS 아래의 웹사이트 로그만 주의하면 쉽게 해결할 수 있습니다. Baidu Spider의 크롤링 로그가 정상적인지 확인하세요. Baidu Spider가 웹사이트의 내부 페이지를 크롤링했는지, 크롤링 후에 어떤 기록이 남아 있는지 확인하세요.
제가 최근에 구축한 웹사이트 www.745sf.com을 예로 들어 보겠습니다. 웹사이트가 처음 출시되었을 때 거미를 유인하기 위해 a5 및 Laocha와 같은 포럼에 몇 가지 서명된 게시물을 올렸습니다. 역. 모든 것이 잘 된 것 같습니다. 그런데 당시엔 홈페이지가 하나밖에 없었어요. 내부 페이지는 포함되지 않습니다. 처음에는 단계적으로 진행되는 새로운 웹사이트인 줄 알았습니다. 며칠 지나면 내부 페이지가 자연스럽게 포함됩니다. 한두 달을 기다려도 홈페이지만 남아 있고 다른 페이지는 포함되지 않은 것이 아쉽습니다. 나를 매우 우울하게 만듭니다. 바이두에 뭔가 문제가 있는 게 틀림없어요. Baidu는 정상적으로 포함할 수 없습니다. 그래서 서버에 가서 당시의 로그를 모두 다운로드해서 분석했습니다. 오랫동안 검색을 해보니 정상적인 스파이더 크롤링 기록이 보이지 않네요. 하루만에 내부 페이지까지 크롤링이 되지 않았거나, 크롤링 후 남은 기록이 모두 200 0 64 였습니다. 인터넷에서 관련 정보를 검색한 결과 그러한 녹음이 비정상적이라는 것을 깨달았습니다. Baidu Spider가 내부 페이지를 성공적으로 크롤링한 후 남겨진 기록은 200 0 0이어야 합니다. 그러나 Baidu Spider가 내 사이트를 크롤링할 때 항상 200 0 64이므로 내 내부 페이지에 문제가 있음을 의미합니다. 나는 내가 직접 만든 쓰레기 처리장에 대해 많은 것을 알고 있고, 생각만 해도 알 수 있다. 처음에는 웹사이트에서 선택한 키워드 밀도가 너무 인기가 있다고 생각되었습니다. 고유성이 없으면 Baidu는 이미 동일한 콘텐츠로 가득 찬 가비지 사이트를 포함할 이유가 없습니다. 둘째, 웹사이트의 내용이 독창적이지 않습니다.
그 이유를 생각해보니, 수정해야 해서 홈페이지 제목과 페이지에 최적화할 키워드를 고유한 단어로 변경했습니다. (바이두가 정상화되면 다시 바꾸겠습니다. ㅎㅎ) 그러다가 몇몇 기사를 찾아서 엉망으로 만들어 유사 원본으로 만들었습니다. 바보 바이두. 이 문제를 해결한 후 거미를 유인하기 위해 곳곳에 링크를 게시했습니다. 지금 거미가 기어다니는 기록을 보세요. 나중에 나는 거미 크롤링 기록이 정상이라는 것을 알았습니다. 둘 다 200 0 0입니다. Baidu 스파이더가 크롤링할 수 있도록 콘텐츠가 매일 업데이트되기 때문입니다. 드디어 어제 대규모 업데이트가 있었고, 제가 크롤링했던 페이지가 모두 공개되었습니다. 오늘 일어나서 웹사이트 주소를 확인해 보세요. Baidu도 매우 귀여운 것으로 나타났습니다. 매일 꾸짖는 것만으로는 충분하지 않습니다. 주의를 기울이면됩니다. 우리에게는 어렵지 않을 것입니다. 모든 행동 스파이더는 크롤링할 때 우리에게 알림을 보내므로 제때에 수정하면 됩니다. 괜찮습니다.
위의 내용은 저의 소박한 의견일 뿐입니다. 모든 영웅들의 침을 받아들입니다.