蜘蛛がWebサイトのコンテンツをうまく閲覧できなければ、いくらWebサイトに力を入れても無駄になってしまいます。このような事態を回避する最善の方法は、Web サイト全体の構造を完全に計画できることであることは間違いありません。
まず第一に、Web サイトを構築する前に、スパイダー クローリングのパターンとルールをよく理解する必要があります。検索エンジンが Web サイトのソース コードを参照してクロールするために小型ロボットであるスパイダーを使用していることは誰もが知っているからです。情報を収集し、それを検索エンジンのデータベースに送信し、Web サイトのページを含める効果を実現し、スパイダーが特定のアルゴリズム規則に従ってディレクトリ配置を生成することについては、すべて単純に理解する必要があります。
スパイダーが Web サイトのコンテンツをうまくスキャン、クロール、キャプチャできれば、Web サイトの重みランキングは必然的に大幅に向上します。そのため、Web サイトがスパイダーによって確実にクロールされるようにするために、エディターを使用することをお勧めします。 Web サイトにパターンや構造レイアウトを追加しすぎないでください。Web サイトのコンテンツがクロールされにくくなります。以下に、私の Web サイトwww.name2012.comがクモに嫌われる 5 つの一般的な理由を示します。理由は参考までに次のとおりです。
(1) ナビゲーションが複雑すぎる
多くの Web サイト デザイナーや編集者は、ナビゲーション ガイドの設定が複雑すぎて、Web サイト全体の重量とユーザー エクスペリエンスにとって非常に重要なフルサイト リンクであるため、ナビゲーションのデザインに特別な悩みを抱えていると思います。通常、スパイダーがより複雑なコードをクロールすることは困難であるか、クロールするのが簡単ではありません。そのため、複雑なナビゲーションは間違いなくスパイダーに多くの迂回路をとらせ、Web サイトへの満足のいく包含につながり、ユーザーがレイヤーごとにクリックすることにもなります。これは間違いなく私たちの Web サイトにとって有益ですが、彼らにとっては時間の無駄であり、必要なコンテンツを直接見つけることができないため、スパイダーとユーザーの両方にとって非常に有害です。
解決策: Web サイトのシンプルなナビゲーション構造を設計して、ユーザーが必要な主題コンテンツをすぐに見つけられるようにします。また、レベル 3 とレベル 4 の列が適切に反映されるように、メイン ナビゲーションの下にドロップダウン ナビゲーションを追加できます。
(2) Web サイト上のコンテンツが画像やスクリプト ファイルで表示されすぎる。
検索エンジンのスパイダーは、主にテキストとスクリプトのコンテンツをクロールするためにいくつかの仮想ツールを使用しますが、スパイダーが Flash や画像のコンテンツをクロールする方法はないため、これは Web サイトの UI デザイナーにとって大きな問題であることは間違いありません。
解決策: 変換されたコンテンツの一部の形式を通じて、Web サイトのコードを検索エンジン スパイダーが識別できるようにします。また、検索エンジン スパイダー シミュレーション クローラーを使用して Web サイトをクロールし、クロール中に問題があることが判明した場合はそれを観察することもできます。多くのコンテンツが失われたりブロックされたりした場合は、ウィザードをリセットしてスパイダーを誘惑する必要があります。
(3) インコヒーレントなリンク操作を行わないでください。
ウェブサイトのリンクを構築するときは、リンクの名前付けに細心の注意を払う必要があります。なぜなら、検索エンジンのスパイダーは通常、2 つの異なるコード コンテンツに基づいて判断することがあるのと同じ判断基準や思考基準を持つことができないことを誰もが知っているからです。このとき、スパイダーは、リンク先のページでどのコンテンツが表現したいのかを間違いなく混乱するでしょう。しかし、多くの場合、私たち人間はこれらのロジックを理解できますが、結局のところ、スパイダーは理解できません。まだ十分に人道的であるため、多くの場合、クモの好みの形式に従ってリンクする必要があります。
スパイダーが判断できない誘導コンテンツを避けるために、ポインティング リンクに一貫性のある同一のコードを使用して、ポインティング リンクによって表現されるコンテンツを一意にする必要があります。
(4) Web サイトの不正なリダイレクト。
この点は、Web サイトの 301 リダイレクトに組み込まれているため、ページ間を移動するために 301 リダイレクトを使用することになります。では、いつ 301 リダイレクトを使用するのでしょうか? まず、その機能は、スパイダーがページをクロールするときに、通常、WWW へのリダイレクトを行わずに、ドメイン名のリダイレクトに使用することであることを理解する必要があります。実際、これは当てはまりません。コンテンツを公開するときに、誤って重複したコンテンツを公開してしまうことがよくあります。その場合、そのページは絶対に削除できません。したがって、301 リダイレクトを使用して、あるページから別のページにジャンプすることができます。これは、重複コンテンツとしてカウントされるだけでなく、間違いなく優れた方法です。
(5) サイトマップが間違っています。
Web サイトをうまく含めたい場合、サイト マップはスパイダーが素早く巡回できる重要なチャネルですが、間違ったマップは Web サイトのクロールに非常に悪影響を与えるため、マップが正確であることを確認する必要があります。もちろん、一般的な CMS 背景には独自のマップ生成が付属しているため、通常はワンクリックで生成できます。もちろん、Web サイトが一部のプラットフォームで実行されている場合は、サイト マップを自動的に生成するプラグインをダウンロードする必要がありますが、それが機能しない場合は、HTML コードを使用して手動でマップ ページを構築できます。構築して検索エンジンに送信します。
まとめ: 通常、蜘蛛が Web サイトを嫌う理由は、Web サイトのコンテンツがオリジナルでない、または収集されたものであることを除けば、次の 5 つの状況が考えられます。 もちろん、細かい間違いもありますが、結局はそれぞれの Web サイトの状況です。編集者のみが簡単に説明するために、いくつかの典型的な状況を列挙します。この記事に関して他にご意見があれば、アドバイスをお願いします。それでは、この記事は Lehu の Web マスターによって書かれています。 com http://www.6hoo.com元の要約、転載の場合は出典を明記してください。ありがとうございます。
（担当編集：Chen Long） Lehu.com著者個人スペース