大多数のウェブマスターは、ウェブサイトが検索エンジンで良いランキングを獲得することが非常に重要であることを知っています。そのため、多くのウェブマスターは検索エンジンを喜ばせるために最善を尽くし、検索エンジンのスパイダーを皇帝のように扱い、スパイダーが高く評価されることを望んでいます。これにより、ウェブサイトのランキングが向上しますが、実際には、クモを上手に世話しても、良いランキングが得られないのはなぜでしょうか。クモには人間の感情がないためです。ウェブサイトの最適化に関しては、スパイダーが優れているほど最適化効果が高いというわけではありませんが、トレードオフを理解しておく必要があります。たとえば、ADMIN でスパイダーを制限するだけでなく、他のディレクトリのスパイダーを適切にブロックすることもできます。これも非常に有益です。スパイダーをブロックするためのいくつかのテクニックを分析してみましょう。
1: 画像ディレクトリとテンプレート ディレクトリの両方をブロックできます
なぜなら、現在、多くの Web マスターがインターネット上で同じ写真を探し、既製のテンプレートを適用しているからです。現時点では、Web サイトが再びスパイダーによってクロールされると、これらのテンプレートや写真がインターネット上に氾濫しています。スパイダーは非常に嫌悪感を抱くので、あなたの Web サイトは模倣や不正行為であるとレッテルを貼られ、検索エンジンの好意を得ることが難しくなります。そのため、通常は IMAGES ディレクトリをブロックすることができます。
2: インデックス作成が繰り返されるのを防ぐために、キャッシュ ディレクトリをブロックできます。
スパイダーは非常に貪欲で、あなたが餌を与えさえすれば、本物であろうと幻想であろうと、すべてを受け入れます。たとえば、スパイダーは、Web サイトのコンテンツとは異なるはずのコンテンツにインデックスを付けます。重複が多すぎると、Baidu のアルゴリズム メカニズムが Web サイトの重量を増加させ、通常、Web サイトの構築に大きな影響を与えます。プログラムが異なるため、Web サイト構築プログラムの違いに応じて、対応するキャッシュ ディレクトリをブロックする必要があります。
3: CSS ディレクトリと一部の RSS ページをブロックする必要がある
CSS ディレクトリは、クロール後は検索エンジンのアルゴリズムの判断に影響を与えるため、ROBOTS.TXT ファイルによってブロックされる可能性があります。また、多くの Web サイト構築プログラムの RSS ページも同様です。結局のところ、コンテンツの両方の側面をブロックする必要があります。これはクモにとっては失礼なことのように思えますが、実際には良い薬のようなものです。口にすれば病気に良いアドバイスは耳には悪いですが、行動には良いのです！
4: ページが 2 つある場合は、最初に動的ページをブロックします
一般に、Web サイトの静的ページは、検索エンジンによって簡単にインデックス付けされます。一般に、スパイダー クローリングとインデックス付けは別のものです。静的ページに加えて、ほとんどの Web サイトには「www.XXXX/1.html」などの動的ページもあります。 www.xxxxx/asp?id=1 が同じページを参照している場合、それらがブロックされていない場合、必然的に 2 つのページが同時にスパイダーによってクロールされます。 2 つの同一のページがある場合、あなたの Web サイトは不正行為の疑いがあるとみなされ、Web サイトの検査が強化され、Web サイトのランキングに影響を及ぼします。 したがって、正しいアプローチは、Web サイトの動的ページをブロックすることです。初め！
5: Web サイトのセキュリティとプライバシーに関連するコンテンツはブロックする必要があります
この記事の冒頭で、ADMIN ディレクトリと DATA ディレクトリは実際には Web サイトのセキュリティとプライバシーに関係していると述べましたが、これをスパイダーに公開してもメリットはなく、攻撃の経路がさらに増える可能性もあります。さらに、Web サイトをバックアップした後に Web サイトをダウンロードする場合、そのバックアップ ファイルを誤って削除してしまう可能性があります。スパイダーによる繰り返しの巡回に簡単につながり、ハッカーによる攻撃につながる可能性があるため、少なくとも「RAR や Zip」などのファイルをブロックするために ROBOTS.TXT ファイルを使用することが非常に必要です。ウェブサイトのセキュリティを強化できます!
全体として、スパイダーを盲目的に皇帝とみなしている場合、適切な最適化とシールドによってスパイダーの仕事のプレッシャーを解決することが最大のお世辞であり、Web サイトの最適化のレベルを向上させる方法でもあります。この記事: http://www.wowawowa.cn/Wowawawa Weight Loss Network A5 が最初のリリースです。再版する際はその旨を明記してください。ありがとうございます。
担当編集者：『ハドロン』著者江南のパーソナルスペース