Файл robots.txt можно найти в FTP многих веб-сайтов. Многие веб-мастера знают только, что это файл, ограничивающий доступ пауков. Есть ли у этого файла какие-либо другие функции?
Что такое файл robots? Этот файл является связующим звеном между поисковыми системами и веб-сайтами. Это файл синтаксиса, согласованный между ними. Каждый раз, когда поисковая система сканирует веб-сайт, она сначала проверяет этот файл, как и ключ к файлу. дверь. То же самое. Если этот файл не существует, это означает, что сканирование поисковыми системами не ограничено. Если этот файл существует, он будет просканирован в соответствии с требованиями, указанными в файле. Некоторые веб-мастера могут спросить: когда мы создаем веб-сайт, нам обязательно нужно, чтобы он индексировался поисковыми системами, так почему мы должны ограничивать его сканирование? Поисковые системы будут искать весь сайт в процессе сканирования, и в вашем может быть некоторый контент? веб-сайт, который вы собрали, или аналогичные страницы без существенного содержания, то оценка вашего веб-сайта будет значительно снижена после его сканирования поисковой системой, и это не будет иметь SEO-эффекта. Однако файл robots может сообщить об этом пауку. на какие страницы он не хочет заходить. Видите, это тоже косвенно снижает нагрузку на сервер.
Об этом файле следует отметить несколько вещей:
1. Имя файла не может быть написано неправильно и должно быть в нижнем регистре, а суффикс должен быть .txt.
2. Файл должен быть размещен в корневом каталоге веб-сайта, например: http://www.taofengyu.com/robots.txt , и должен быть доступен.
3. Синтаксис содержимого файла должен быть правильным. Обычно обычно используются User-agent и Disallow:
User-agent:* означает, что всем паукам поисковых систем разрешено сканировать и включать ваш веб-сайт. Если вы не хотите, чтобы Baidu включал ваш веб-сайт, замените * на «baiduspider», тогда контент, ограниченный запретом, не будет сканироваться и включаться Baidu. пауки включены. Если вы хотите ограничить сканирование всего сайта, то файл Disallow должен быть записан как «Disallow:/». Если вы хотите запретить сканирование файлов в определенной папке, напишите его как «Disallow:/admin». /». Если вы хотите ограничить сканирование файлов, начинающихся с admin, напишите «Disallow:/admin» и т. д. Вы хотите ограничить сканирование файлов в определенной папке. Например, вы хотите ограничить сканирование файлов в определенной папке. index.htm в папке администратора, то синтаксис Disallow записывается как «Disallow:/admin/index.htm». Если после Disallow нет знака «/», это означает, что все страницы веб-сайта разрешены для сканирования и включения.
Как правило, паукам не требуется сканировать файлы фонового управления, функции программы, файлы баз данных, файлы таблиц стилей, файлы шаблонов, некоторые изображения веб-сайта и т. д.
4. Функция Disallow должна существовать в файле robots, что является ключевым фактором для создания этого файла.
Это все о важности и методах файлов robots. Надеюсь, это может быть полезно каждому.
Статья взята с сайта Taofengyu Student Supplies Network http://www.taofengyu.com/ Пожалуйста, указывайте источник при перепечатке и уважайте труд автора.
Личное авторское пространство детских игрушек на Таобао