Robots.txt друзья более или менее слышали о нем или, возможно, написали его сами. На самом деле, я сам еще не писал файл robots.txt. Дело не в том, что я не могу его написать, я просто чувствую, что в блоге нет ничего, что нужно было бы предотвратить от сканирования пауками. А еще каждый должен знать, что вероятность мертвых ссылок в личном независимом блоге должна быть очень мала, и не нужно слишком сильно заниматься мертвыми ссылками, поэтому я не думаю, что это необходимо. Однако метод написания файла robots.txt — это один из навыков, которым должны овладеть отдельные веб-мастера, и его применение по-прежнему очень широко. Вот подробное введение, которое можно рассматривать как обзор для себя.
Что такое файл robots.txt
Судя по имени файла, он имеет расширение .txt. Также следует знать, что это текстовый файл, то есть Блокнот. Роботы, те, кто немного знает английский, должны знать это, означает робот. Для нас этот робот представляет собой робота поисковой системы. Из названия можно догадаться, что этот файл специально написан нами для чтения пауками. Его функция — сообщить пауку, что эти столбцы или страницы не нужно сканировать. Конечно, он также может напрямую заблокировать доступ определенного паука. Обратите внимание, что этот файл размещается в корневом каталоге веб-сайта, чтобы паук мог прочитать содержимое файла как можно скорее.
Роль файлов robots
Фактически, файл robots чаще всего используется нами для блокировки неработающих ссылок на веб-сайте. Каждый должен знать, что слишком много мертвых ссылок на веб-сайте влияет на его вес. Однако, хотя очистить неработающие ссылки на веб-сайте несложно, это все равно занимает много времени. Особенно, если на веб-сайте много мертвых ссылок, очистить их будет очень трудоемко. Будет отражена полезность файла robots. Мы можем напрямую записать эти мертвые ссылки в файлы в соответствии с форматом, чтобы предотвратить сканирование пауками. Если вы хотите очистить их, вы можете очистить их медленно в будущем. Некоторый контент веб-сайтов содержит URL-адреса или файлы, которые веб-мастера не хотят сканировать пауками, и их также можно напрямую заблокировать. Для защиты пауков их обычно используют реже.
Как написать файл robots
Этот момент должен быть более важным. Если вы напишете что-то неправильно и попытаетесь это заблокировать, но у вас ничего не получится, но если вы напишете что-то, что хотите захватить, и не сможете вовремя это найти, вы понесете большие потери. Прежде всего, нам нужно знать два тега: «Разрешить» и «Запретить», один разрешен, а другой запрещен. Каждый может понять его функцию.
Пользовательский агент: *
Запретить:
или
Пользовательский агент: *
Позволять:
Эти два абзаца содержимого указывают на то, что сканирование разрешено для всего. Фактически тег Disallow используется для блокировки URL-адресов и файлов, если только на вашем веб-сайте нет только нескольких из них, которые вы хотите сканировать, и используйте тег «Разрешить». За этим User-agent: следует имя паука. Каждый должен быть знаком с основными именами пауков поисковых систем. Давайте возьмем в качестве примера Soso Spider: Sosospider.
Когда мы хотим заблокировать Soso Spider:
Пользовательский агент: sosospider
Запретить: /
Вы можете обнаружить, что по сравнению с приведенным выше разрешением, у этого экранирующего паука всего на один больше "/", и его значение кардинально изменилось. Поэтому надо быть осторожным при написании, и вы не сможете заблокировать самого паука только потому, что напишете доп. слэш. Но не знаю. Кроме того, в пользовательском агенте: если имя паука, за которым следует "*", фиксировано, это означает, что оно предназначено для всех пауков.
Чтобы запретить сканирование каталога роботам поисковых систем, код настройки следующий:
Пользовательский агент: *
Запретить: /каталог/
Обратите внимание: если вы хотите запретить сканирование каталога, необходимо обратить внимание на "/" в имени каталога. Без "/" это означает, что доступ к этой странице каталога и страницам под каталогом заблокирован, а с ". /", это означает вход в заблокированный каталог. На странице контента ниже эти два пункта необходимо четко различать. Если вы хотите заблокировать несколько каталогов, вам нужно использовать
Пользовательский агент: *
Запретить: /directory1/
Запретить: /directory2/
Эта форма не может иметь вид /каталог 1/каталог 2/.
Если вы хотите запретить паукам доступ к определенному типу файлов, например, запретить сканирование изображений в формате .jpg, вы можете установить для него значение:
Пользовательский агент: *
Запретить: .jpg$
Выше приведен метод написания файла роботов Shanghai SEO Xiaoma для всего веб-сайта. Здесь говорится только о типах и мерах предосторожности, связанных с методом написания роботов. Немного меньше описаний конкретных методов написания, таких как целевая блокировка пауков или других методов написания. , но вы знаете значение слов «разрешить» и «запретить». Размышляя об этом, можно получить множество других значений письма. Существуют также способы написания метатегов веб-страниц роботов для определенных веб-страниц, но, как правило, используются не многие.
Вышеупомянутое составлено Шанхайским SEO Pony http://www.mjlseo.com/ , пожалуйста, укажите при перепечатке, спасибо
Главный редактор: Личное пространство автора Янъяна Сяомы Лаомы