クモ、ロボット、クローラーがあなたの友達です。 SEO を望むなら、彼らを好きになるだけでなく、彼らをあなたのサイトに引き付けるために実際に努力する必要があります。
SEO 用語では、スパイダー、ロボット、クローラーはすべてほぼ同じものですが、あまり心配する必要はありません。どれも足や触角を持っていません。したがって、それらすべてを「クローラー」という言葉で呼ぶことにします。場合によっては、これらのボットを引き寄せたり、サイトを「スパイダーベイト」として偽装したりする必要があることに注意してください。それはすべて同じ原則に当てはまります。 では、クローラーとは何でしょうか?なぜそれを Web サイトに招待する必要があるのでしょうか? クローラーとは、インターネット上のさまざまな URL に対して一生懸命実行し続けるプログラムまたは自動スクリプト (ロボットの略でボットと呼ばれることが多い) です。クローラーは、閲覧する Web ページ上のリンクを通じて、ある URL から別の URL にクロールします。
主要な検索エンジンは、広大なインターネットを閲覧するためにクローラーを継続的に送信します。クローラーはまず各ページを見つけて、ページ上のテキストとコードをコピーして、巨大なインデックス サーバーに保存します。このプロセスはクロールと呼ばれます。この巨大なインデックスは、実際には、検索エンジン クローラーが正常にアクセスできるすべての Web サイト ページを含むデータベースです。インデックスは、検索時に結果を迅速に取得するためのリポジトリとして使用されます。 Google などの検索エンジンに検索語を入力して送信すると、その時点でのインターネットの実際のコンテンツではなく、検索エンジンによってインデックス付けされたすべてのコンテンツが実際に検索されます。 もちろん、Web ページは変わります。場合によっては、Web ページや Web サイトは非常に短いサイクルで変更されます。これに加えて、新しい Web サイトや Web ページが常に急速に出現しています。そのため、クローラーは常に存在し、Web を何度も閲覧し、検索エンジンのインデックス情報を構築および更新します。 検索エンジンのインデックス ライブラリのコンテンツは、Web を閲覧するときにクローラーが参照するものです。クローラーが見るものは、平均的な訪問者が見るものとは大きく異なる場合があります。クローラーによって認識された Web ページのコンテンツが何であるかを確認したい場合は、IE ブラウザーを使用してアクセスし、Ctrl-A キーの組み合わせを押して、コピーされたコンテンツを参照できます (Mac システムの場合は、 Apple-U キーの組み合わせを使用します)。または、Google を使用して、検索結果の下にある [Web スナップショット] リンクをクリックすると、クローラーによって取得されたページの最近のスナップショットを確認できます。何よりもまず、クローラーはクロールするすべてのページの単語とフレーズを組み合わせます。テキストとリンクにインデックスを付けます。検索ボックスに検索語を入力すると、検索エンジンは検索語句に最もよく一致する Web ページを見つけようとします。 さまざまな検索エンジンには独自のクローラーがあり、ご想像のとおり、すべてがまったく同じように動作するわけではありません。クローラーの中には、ページ上のすべてのコンテンツを取得するものもありますが、ページの特定の部分のみに関心を持つものもあります。ほとんどのクローラーは、ページのタイトルとページの上部近くのコンテンツが、ページのさらに下にあるコンテンツよりも重要であると信じています。クローラーは、Web サイトをクロールするときに障害に遭遇し、それを乗り越えることがよくあります。たとえば、クロールを続行できるリンクがない場合や、奇妙なテクノロジーやコードによって引き起こされる問題に遭遇する場合です。クローラーは、技術的な障害によって罠にはまり、作業を簡単に完了できない場合もあります。 したがって、SEO の取り組みにおける最初のステップの重要な部分は、クローラーがサイトを発見してクロールしやすくすることです。サイトがクローラーによってクロールされていない場合、クローラーはサイトの検索エンジン インデックスを構築しません。ページにインデックスが作成されていない場合、検索エンジンはそのページが存在しないと判断するため、検索者はそのページを検索エンジンで見つけることができません。同時に、検索者は他のページ、おそらく競合他社のページを見つける可能性があります。 リンクと適切に設計されたサイト構造は、個々の Web ページと Web サイトのセクション、およびサイト内の他の Web ページとセクションの間の関係を確立する橋渡しとなります。これにより、クローラーにクロールするための明確なパスが提供されます。
サイトマップの作成
サイトマップの作成は、検索エンジン クローラーがサイトをクロールできるようにする最も簡単な方法の 1 つです。サイトマップは、Web サイト コンテンツの URL のリスト (少なくとも Web サイト所有者がクローラーに表示したいアドレス) をクローラーに提供するファイル (通常は XML 形式) です。サイトマップには、指定したページが最後に更新された時期、更新頻度、サイト上の他のコンテンツと比較したページの重要性など、各 URL の追加情報を含めることもできます (たとえば、ホームページは「連絡先」よりも重要です)。 「私たち」ページ）。サイトマップによって提供される情報は、検索エンジン クローラーが Web サイトをよりインテリジェントにクロールするのに役立ちます。 Google、MSN、Yahoo!、Ask はすべて、Web サイト所有者からのサイトマップの送信リクエストを受け付けています。ただし、サイトマップに送信された URL がクロールされたり、インデックスに登録されたりすることを保証する企業は存在しないことに注意してください。サイトマップは、直接閲覧するのが難しい情報を提供する Web サイトに役立ちます。たとえば、一部のサイトには、ユーザーの検索によってのみ表示される情報の大規模なアーカイブやデータベースが保存されています。クローラーはリンクに基づいて情報のみをクロールし、通常、そのような情報には参照先のリンクがないことに注意してください。
記事出典：http: //www.jysnj.com転載の際はアドレスを明記してください
編集長：チェン・ロン 著者はエルさんのパーソナルスペースを尋ねた