Что касается файла robots.txt, большинство людей могут подумать, что он может быть написан или нет. Если вы напишете его неправильно, у вас будут проблемы, поэтому вы можете вообще его не писать. Фактически, в поисковой оптимизации robots.txt имеет несколько замечательных применений. Теперь давайте поочередно рассмотрим замечательные варианты использования файла robots.txt.
1. При создании нового сайта дайте пауку просканировать страницу со списком. При создании нового веб-сайта запишите адрес столбца веб-сайта в файле robots.txt для сканирования. Примеры следующие:
# http://www.xxxxxx.cn/ Оптимизированный для веб-сайта robots.txt
Пользовательский агент: *
Запретить: /
Запретить: /plus/advancedsearch.php
Запретить: /plus/car.php
Запретить: /plus/carbuyaction.php
Запретить: /plus/shops_buyaction.php
Запретить: /plus/erraddsave.php
Запретить: /plus/posttocar.php
Запретить: /plus/disdls.php
Запретить: /plus/feedback_js.php
Запретить: /plus/mytag_js.php
Запретить: /plus/rss.php
Запретить: /plus/search.php
Запретить: /plus/recommend.php
Запретить: /plus/stow.php
Запретить: /plus/count.php
Запретить: /include
Запретить: /templets
По умолчанию используется файл robots.txt dedecms, который лично мне кажется довольно хорошим.
2. Заблокируйте включение некачественных страниц. Например, одна из ваших веб-страниц — это динамическая страница, content.asp, и вы можете получить разное содержимое с помощью идентификатора параметра. Если вам нужно добавить стиль параметра для отображения страниц с разными стилями, но с одинаковым содержимым для разных пользователей, тогда для страницы с одинаковым содержанием и идентификатором 1 может быть несколько ссылок.
content.asp?id=1
content.asp?id=1&style=красный
content.asp?id=1&style=зеленый
У этих подключений контент одинаковый, но подключения разные, что может привести к появлению дублированного контента. Здесь вы можете заблокировать включение дублирующих страниц через robots.txt следующим образом:
Пользовательский агент: *
Запретить: content.asp?id=*&style=*
3. Нет необходимости отправлять карту сайта в основные поисковые системы. Google, Microsoft и Yahoo уже поддерживают это расширение robots.txt. Таким образом, это также экономит время на отправку карты сайта.
Что касается конкретного метода написания robots.txt, рекомендуется обратиться к очень подробному руководству Baidu http://www.baidu.com/search/robots.html.
Впервые опубликовано на Webmaster.com. Пожалуйста, сохраните ссылку http://www.zzyoua.cn/ для перепечатки.