-
robots.txt — это первый файл, который просматривают пауки поисковых систем при сканировании вашего сайта. Этот файл сообщает программе-пауку поисковой системы, какие файлы на вашем сайте разрешены для просмотра, а какие нет. В настоящее время основные поисковые системы по-прежнему соблюдают это правило. Hefei SEO хорошо это понимает. Этот сайт разблокировал файл robots.txt около 23:00 20-го числа, чтобы позволить паукам поисковых систем получить к нему доступ. Я проверил, и Baidu действительно закрыл его. Второй Google тоже принял его.
Хватит говорить, приступим к делу. robots.txt — это текстовый файл. Он должен называться «robots.txt» и быть загружен в корневой каталог сайта. Загрузка в подкаталог недопустима, поскольку роботы поисковых систем будут искать его только в корневом каталоге вашего доменного имени. . документ. Опять же, нет необходимости тратить здесь время, если у вас нет базовых знаний о Хэфэйском SEO. Вы можете посетить Справочный центр поиска Baidu и блог китайского администратора Google. Здесь мы в основном представляем robots.txt с точки зрения. Роль SEO в процессе оптимизации сайта.
1. Советы по использованию robots.txt, которые помогут оптимизировать сайт.
1. Создание веб-сайтов в Интернете — это удобный способ. Когда мы разрешаем доменное имя серверу, мы можем получить доступ к сайту, но на данный момент сайт не очень хорошо спланирован, а метатеги все еще находятся в беспорядке. В настоящее время сайт просканирован и включен поисковыми роботами. Если его изменить в это время, это будет очень вредно для SEO-оптимизации. В настоящее время вы можете использовать файл robots.txt, чтобы запретить всем роботам поисковых систем запрашивать все содержимое сайта. Его синтаксический формат:
Пользовательский агент: *
Запретить: /
2. Настройте пауков поисковых систем на сканирование определенного контента, что позволит вам выбирать, как обращаться с поисковыми системами в зависимости от условий сайта. Здесь есть два значения.
(1) Индивидуальная поисковая система. Если ты презираешь то, что делает Ду Нианг, ты можешь заставить ее просто так смотреть на тебя. Его синтаксический формат:
Пользовательский агент: baiduspider
Запретить: /
Примечание. Распространенные имена роботов поисковых систем.
Поисковая система по имени
Байдупаук http://www.baidu.com
Скутер http://www.altaVista.com
ia_archiver http://www.Alexa.com
Робот Google http://www.google.com
FAST-WebCrawler http://www.alltheweb.com
Хлебать http://www.inktomi.com
MSNBOT http://search.msn.com
(2) Настройте содержимое сайта. То есть вы можете указать каталог, позволяющий паукам сканировать, и каталог, запрещающий паукам сканировать. Например, всем паукам поисковых систем разрешено сканировать содержимое каталога abc, но запрещено сканировать содержимое каталога def. Формат синтаксиса:
Пользовательский агент: *
Разрешить: /abc/
Запретить: /def/
3. Помогите поисковым системам сканировать содержимое веб-сайта. Наиболее типичными методами здесь являются
(1) Помогите паукам сканировать карту вашего сайта. Его синтаксический формат:
Пользовательский агент: *
карта сайта:sitemap-url
(2) Не позволяйте паукам сканировать ваш сайт на наличие дублированного контента.
4. Проблема со страницей ошибки 404. Если ваш сервер настраивает страницу ошибки 404 и не настраивает файл robots.txt в корневом каталоге вашего сайта, пауки поисковых систем будут рассматривать его как файл robots.txt, что повлияет на включение страниц вашего сайта поисковыми системами. .
2. Как написать robots.txt для создания сайтов с помощью специальных программ. Это лишь общие рекомендации, вам следует принимать решение в соответствии с вашей конкретной ситуацией.
1. Как написать файл robots.txt для создания сайта DedeCMS
Пользовательский агент: *
Запретить: /plus/feedback_js.php
Запретить: /plus/feedback.php
Запретить: /plus/mytag_js.php
Запретить: /plus/rss.php
Запретить: /plus/search.php
Запретить: /plus/recommend.php
Запретить: /plus/stow.php
Запретить: /plus/count.php
Запретить: /include
Запретить: /templets
Запретить: /member
2. Как написать файл robots.txt для создания веб-сайта WordPress.
Пользовательский агент: *
Запретить: /wp-admin
Запретить: /wp-content/plugins
Запретить: /wp-content/themes
Запретить: /wp-includes
Запретить: /?s=
Карта сайта: http://www.***.com/sitemap.xml
3. Как написать файл robots.txt для создания сайта на phpcms
Пользовательский агент: *
Запретить: /admin
Запретить: /data
Запретить: /templates
Запретить: /include
Запретить: /languages
Запретить: /api
Запретить: /fckeditor
Запретить: /install
Запретить: /count.php
Запретить: /комментарий
Запретить: /guestbook
Запретить: /announce
Запретить: /member
Запретить: /message
Запретить: /паук
Запретить: /yp
Запретить: /vote
Запретить: /видео
4. Как написать файл robots.txt на форуме Discuz
Пользовательский агент: *
Разрешить: /redirect.php
Разрешить: /viewthread.php
Разрешить: /forumdisplay.php
Запретить: /?
Запретить: /*.php
Хоть тема и старая, но еще многому предстоит научиться. Некоторые люди говорят, что установка файла robots.txt приведет к риску подвергнуться нападению со стороны «преднамеренных людей». Как рядовому игроку, вам нечего бояться. Поскольку вы «преднамеренный человек», вам нечего делать (это). это не только сама программа для создания веб-сайтов, но и безопасность сервера и т. д. и т. п.). Из Хэфэй SEO: http://www.anhuiseo.org Пожалуйста, укажите источник для перепечатки.
Спасибо qhpf298 за его вклад.