私は以前から詳細の最適化について常に強調してきました。はい、Baidu の Web サイトに対する現在の要件は、コードやタグなどが詳細であるため、ロボットも Web サイトの詳細の一部です。このウェブサイトは私たちにとって非常に役に立ちます。Robots が何なのかを知らない新しい Web マスターもたくさんいるかもしれません。ここで、Robots の操作についていくつか説明します。
1. Robots.txt の起源
まず、Robots はコマンドや指示ではないことを理解する必要があります。Robots は、Web サイトと検索エンジンの間のサードパーティ契約であり、初期には Robots.txt の内容が使用されていました。 Web サイトのプライバシー保護 これは、Web サイトのルート ディレクトリにある A txt ファイルに存在します。
2. Robots.txtの役割
ウェブサイトを立ち上げると、検索エンジンによって多くの抗しがたい要素が放出され、ウェブページの全体的な品質の低下や検索エンジンでのウェブサイトの印象の低下につながります。これらをブロックするのがロボットの役割です。抗しがたい要因がスパイダーの解放を妨げるので、どのページをブロックすべきでしょうか?
1. コンテンツのない一部のページをブロックする: 明確にするために、登録ページ、ログイン ページ、ショッピング ページ、投稿ページ、メッセージ ページ、検索ホームページなどの例を示します。404 エラー ページがある場合は、それもブロックする必要があります。
2. 重複したページをブロックする: Web サイトに同じコンテンツでパスが異なる 2 つのページがあることが判明した場合、スパイダーはそのページをクロールしますが、そのページを解放することはできません。ページをブロックするツール。ブロックされたページの数を直接確認します。
3. 一部のリンク切れページをブロックする
共通の特性を持つページをブロックする必要があるだけです。スパイダーがアドレスをクロールできないということは、アドレスをクロールできるかどうかは別の概念です。たとえば、処理できないパスによって発生したデッド リンクをブロックする必要はありません。
4. いくつかの長いパスをブロックする: ロボットを使用して、URL 入力ボックスを超える長いパスをブロックできます。
3. Robots.txtの使用
1. Robots.txtの作成
新しいメモ帳ファイルをローカルに作成し、Robots.txt という名前を付けて、このファイルをルート ディレクトリに置きます。これにより、Dreamweaver などの一部のオープン ソース プログラムには Robots が付属します。ルート ディレクトリからダウンロードするだけです。
2. 共通文法
ユーザー エージェント構文は、検索エンジン クローラーを定義するために使用されます。 disallowとは禁止という意味です。 「Allow」は「許可」という意味です。
まず、検索エンジン クローラー (スパイダーまたはロボット) について学びましょう。
Baidu スパイダーの場合は Robots で Baiduspider と書き、Google ロボットの場合は Googlebot と書きます。
書き方を紹介します。最初の行では、まず検索エンジンを定義します。
ユーザーエージェント: Baiduspider (ロボットを記述するときは、コロンの後にスペースが必要であるという事実に特別な注意を払う必要があります。同時に、すべての検索エンジンを定義したい場合は、Baidusspider の代わりに * を使用する必要があります。 )
許可しない: /admin/
この文の意味は、Baidu Spider に私の Web サイトの admin フォルダーに Web ページを含めないように指示することです。admin の後のスラッシュを削除すると、Baidu Spider に管理者フォルダーにページを含めないように指示することになります。私の Web サイトのフォルダー。ルート ディレクトリの admin フォルダー内のすべての Web ページ。
「許可」は「許可」または「禁止」を意味します。一般に、これを単独で使用することはなく、ディレクトリのシールドと柔軟なアプリケーションを容易にするために使用されます。見てみましょう / SEO/ フォルダーには 100,000 個のファイルがあり、クロールする必要があるファイルが 2 つあります。数万のコードを記述することはできませんが、作業には数行しか必要ありません。一緒に。
ユーザーエージェント: *(すべての検索エンジンを定義します)
許可しない: /seo/ (seo フォルダーの組み込みを無効にする)
許可: /seo/ccc.php
許可: /seo/ab.html
これら 2 つのファイルを同時にキャプチャして含めることができるので、4 行のコードで問題を解決できます。Disallow を前に置くのと、Allow を前に置くのが標準化されているのか、それとも Disallow を前に置くのが標準化されているのか疑問に思う人もいるかもしれません。が前面に置かれています。
この記事は元々 http://www.51diaoche.net によって作成されました。転載は歓迎されます。元の著者を明記してください。
編集長：襄陽 著者龍風巻上機械のパーソナルスペース