Преимущество размещения ссылки на карту сайта в файле robots.txt заключается в том, что веб-мастеру не нужно заходить в инструменты каждой поисковой системы для веб-мастеров или аналогичный раздел для веб-мастеров, чтобы отправить свой собственный файл карты сайта. Этот метод может помочь веб-мастерам сократить свою работу.
Все основные поисковые системы выпустили новый способ поддержки карт сайта, который заключается в прямом включении ссылок на файлы карты сайта в файл robots.txt. Поисковые компании, которые в настоящее время поддерживают это, включают Google и Yahoo, но китайские компании, занимающиеся поисковыми системами, явно не входят в этот круг.
Преимущество этого заключается в том, что веб-мастеру не нужно заходить в инструменты для веб-мастеров или аналогичные разделы для веб-мастеров каждой поисковой системы, чтобы отправить свой собственный файл карты сайта. Паук поисковой системы просканирует файл robots.txt и прочитает его содержимое. путь к карте сайта, а затем просканировать связанные веб-страницы.
Это основано на предположении, что файл robots.txt уже является стандартом, на всех веб-сайтах есть хотя бы один, а карта сайта все еще устанавливает стандарт. Этот подход может сократить работу веб-мастеров, и если им не нужен более подробный индекс и. для поиска информации, вам нужно только включить карту сайта в robots.txt.
Давайте начнем сейчас и изменим файл robots.txt.
# # robots.txt для xxx.com # Версия 2009.04.04 # Пользовательский агент: * Запретить: /функция/ Запретить: /FCKeditor/ Запретить: /CACHE/ Запретить: /SCRIPT/ Запретить: /АДМИН/ Запретить: /wap.asp Запретить: /cmd.asp Карта сайта: http://www.xxx.com/sitemap.xml. |
Автор: iyx.cc http://www.iyx.cc При воспроизведении обязательно сохраняйте ссылку автора и данное заявление. Благодарим за сотрудничество!