어제 IIS 로그를 분석해보니, 바이두, 구글, 야후에서 모두 크롤링이 왔는데, 이전에 크롤링이 안되었던 페이지들도 외부링크 안내를 받아 성공적으로 크롤링이 된 것 같습니다. 도착해서 포함시켰는데, 구글의 스파이더 크롤링 기록에 404 페이지 반환 기록이 많다는 것은 좋은 일이 아니며, 코드가 많이 죽는다는 것을 발견했습니다. 모래밭. 그러다가 구글에 로그인해서 웹사이트 관리툴을 이용해 분석해보니 맙소사, 210개의 죽은 링크가 있었네요. 구글에 비해 페이지 품질이 별로 좋지 않은 것 같은데, 404페이지가 너무 많아서 확인하는데 애를 먹었습니다. 혼자 바꾸는 것. 그러다가 robots.txt를 생각하게 됐어요.
여기의 404 페이지는 기본적으로 asp로 끝나기 때문에 이렇게 큰 404 페이지의 경우 다음과 같이 설정할 수 있습니다.
사용자 에이전트:Googlebot
허용하지 않음:/*.asp$
나는 어젯밤의 Google 크롤링 기록 로그를 분석하기 위해 오늘 아침 여기에 왔고 예상대로 asp로 끝나는 이러한 페이지에는 더 이상 관심을 기울이지 않았습니다.
데드 링크가 많아 일반 페이지가 표시되지 않는 경우 robots.txt를 사용하는 것은 적합하지 않으므로 404 페이지를 수동으로 설정하는 방법도 있습니다. 일반적으로 호스트 공급자가 제공하는 백엔드에서 404 페이지를 제공해야 합니다. .net 프로그램이라면 web.config에서 오류 페이지를 설정할 수 있는데, IIS에서 처리하는 404 코드 반환 페이지를 수정하기 위해 직접 서버에 로그인을 하게 되는데, 한마디로 404 페이지를 변경하는 것이 고객에게 도움이 될 것입니다. 고객을 확보하기 위해 다른 유용한 페이지로 이동합니다.
이 기사는 Koushuiyu 웹 튜토리얼 네트워크(http://www.koushuiyu.cn)에서 출판되었습니다. 재인쇄를 표시해 주세요. 감사합니다!