Baidu Spider は Web サイトのトップページのみをクロールしますが、内部ページはクロールしません。何が起こっているのでしょうか?多くの人がこの問題に悩んでいます。特に、新しい Web サイトを立ち上げても、エントリ数が長期間増加しない場合は、さらに不安になります。
まず、問題を解決しましょう。「Baidu Spider は Web サイトのトップ ページのみをクロールし、内部ページはクロールしない」ということはどのようにしてわかるのでしょうか。
スパイダーのクロール状況は、Web サイトの IIS ログを通じて確認できます。ログには、スパイダーのクロール時間、クロールされたページ、クロールされたページなどの情報が明確に記録されます。
なんという馬でしょうか？ IIS ログを読み取れませんか?
インターネット上には IIS ログ分析ツールが多数あります。Baidu で確認してください。ここでは、高速で使いやすい Lightyear IIS ログ分析ツールを使用することをお勧めします。
次に、Nantang が「Baidu スパイダーはホームページのみをクロールし、内部ページはクロールしない」という問題を分析します。
「Baidu Spider は Web サイトのトップページのみをクロールし、内部ページはクロールしません」の理由は次のとおりです。
1. robots.txt、誤った操作、ブロックされた内部ページ。
2. 大量メッセージングおよびその他の不正行為。
3. サーバーの理由。
4. ホームページからウェブサイト内部のページへのリンクが少なすぎ、ナビゲーション構造がわかりにくく、ナビゲーションが不明確です。
5. ウェブサイトの品質が非常に悪く、重量が極端に低い。
6. ウェブサイトのメンテナンスには、釣りに 3 日、ウェブサイトの乾燥に 2 日を費やします。
7. このウェブサイトは非常に新しく、新しいものはめちゃくちゃです。
8. Web サイトはまだ Baidu のサンドボックス内にあり、Baidu スパイダーがそれを巡回しましたが、ページのスナップショットは作成されませんでした。
ホームページが Baidu スパイダーによってクロールされる可能性があるという事実は、Web サイトがスパイダーを軽視するものではないことを示しています。
それは上記の 7 つの理由の 1 つまたは N である必要があり、「Baidu スパイダーは Web サイトのトップ ページのみをクロールし、内部ページはクロールしない」ということになります。
これで説明は終わりです。最後に、上記の「Baidu Spider が Web サイトのトップ ページのみをクロールし、内部ページをクロールしない」8 つの理由を詳しく見てみましょう。
1-8 Web サイトを順番に確認し、1 つずつ除外し、1 つずつ解決します。
主要な爆破計画は以下の 8 つである。
1. robots.txtの問題点をブラウザに入力して確認すると一目瞭然です。
速報 2. この状況は、Web サイト管理者であるあなたが最もよく知っています。大規模な SEO 不正行為手法が存在する場合、Baidu スパイダーが Web サイトのトップ ページのみをクロールし、内部ページはクロールしないことがよくあります。
加工方法：
大量に送信される SEO 不正行為をすべて停止します。
ウェブサイトのコンテンツは定期的かつ継続的に更新する必要があります。ウェブサイトのコンテンツはオリジナルである必要があり、二次コンテンツも高品質の疑似オリジナルである必要があります。
適切な外部リンクやフレンドリーリンクを作成してスパイダーを呼び込みます。
この場合は、落ち着いて待つしかありません。
休憩 3. 「Web ページの http ステータス コード」をクエリし、Web サイトから返されたコードを分析して、問題の原因を特定できます。
また、あなたと同じ IP サーバーを持つ Web サイトが Baidu によって処罰され、あなたの Web サイトが関与するという状況もあります。
あるいは、落ち着いて粘り強く待つこともできます。またはサーバーを変更します。
休憩 4. Web サイトのナビゲーションを整理し、構造を整え、Web サイトのナビゲーションをより明確にします。
トップページに記事のタイトルを付け、「最新の記事」、「記事のおすすめ」などのセクションを追加し、内部ページの入り口を追加します。
速報 5. このサイトの記事はあまりにもゴミなので、Baidu スパイダーはクロールするのが面倒です。スパイダーがホームページのクロールを完了し、内部ページをクロールすることをどうやって祈りますか。
Baidu に含まれているジャンク コンテンツを整理および修正し、含まれていないコンテンツをクリーンアップします。
次に、Web サイトのコンテンツを質と量を備えて更新することを主張し、同時にオフサイト リンクも適切に配置します。
6 を破って、私は月初めに 1 つの記事を更新し、月末に 1 つの記事を更新します。なぜ「Baidu スパイダーは Web サイトのトップページだけをクロールし、内部ページをクロールしないのか」と嘆いています。
エネルギーを節約して、いくつかの記事を更新してください。
Baidu Spider は人間のようなもので、本来は 1 日に 1 回来ますが、Web サイトは更新されません。それから私は 2 日に 1 回来ますが、ウェブサイトはまだ更新されていません。次に、5、10、15 です。
Baidu Spider にも独自の行動習慣がありますが、その知能は非常に低いですが、無視することはできません。
休憩 7. 新しい Web サイトとしては目立たないようにして、「Baidu スパイダーは Web サイトのトップページのみをクロールし、内部ページはクロールしない」という問題に毎日苦労しないでください。
独自の Web サイト最適化計画を策定し、管理対象 Web サイトを維持および更新し、不正行為の使用を避けてください。
8. 上記の理由で Web サイトが存在せず、「Baidu スパイダーは Web サイトのトップページのみをクロールし、内部ページはクロールしない」場合、この理由を判断するのは困難です。
そうなると、私たちはまだ百度のサンドボックスの中にいるのかもしれない。
これは、Baidu の新しい Web サイトに対するテスト期間、または Web サイトが処罰された後の観察期間です。
冷静に対処し、決定したウェブサイト最適化計画を積極的に実行してください。
今日はここまでです。Nantang の記事がお役に立てば幸いです。
この記事の出典: Nantang の Web サイト最適化ブログ、アドレス: http://www.ba77.com/post/15.html 、転載する場合はその旨を明記してください。
南唐さん、ご協力ありがとうございます