robots.txt
1.0.0
Jonas Jacek による Robots.txt テンプレートは ditig.com に移動されました。
このリポジトリはまもなく閉鎖されます。
このリポジトリには 2 つのrobots.txt ファイル テンプレートが含まれており、ウェブマスターが不要なウェブ ロボット (スクレーパー ボット、ピープル検索エンジン、SEO ツール、マーケティング ツールなど) をウェブサイトから遠ざけながら、正規のロボット (検索エンジン クローラーなど) の侵入を許可するのに役立ちます。
ロボットが合法的であり、リストに掲載されるためには、ロボット排除基準に完全に従う必要があります。 robots.txt ファイル テンプレートにはホワイト リストが含まれています。リストに掲載されていないロボット (ユーザー エージェント) は、ロボット除外基準の規則によりアクセスが許可されません。
robots.txt テンプレート ファイルには、正規の Web ロボットのアルファベット順のホワイト リストが含まれています。コメント付きバージョンでは、各ボットはユーザー エージェント (リスト) の上のコメントで簡単に説明されます。 Web サイトへのアクセスを許可したくないボット (ユーザーエージェント) のコメントを外すか、削除します。
robots.txt ファイルには 2 つのバージョンがあります。
/robots.txt/robots.min.txt縮小バージョンを使用する場合は、有効にするために名前をrobots.txtに変更することを忘れないでください。
