robots.txt

Шаблон файла robots.txt

Шаблон Robots.txt, созданный Йонасом Яцеком, был перенесен на ditig.com.

Этот репозиторий будет закрыт в ближайшее время.

---

Этот репозиторий содержит 2 шаблона файлов robots.txt, которые помогут веб-мастерам не допускать нежелательных веб-роботов (например, парсеров, поисковых систем, инструментов SEO, маркетинговых инструментов и т. д.) на свои веб-сайты, но разрешать использование законных роботов (например, сканеров поисковых систем).

Чтобы быть законными и попасть в список, роботы должны полностью соблюдать Стандарт исключения роботов . Шаблоны файлов robots.txt содержат белый список. Роботам, не включенным в список (пользовательские агенты), по правилам Стандарта исключения роботов доступ запрещен.

Файлы

Файлы шаблонов

Файлы шаблонов robots.txt содержат белый список разрешенных веб-роботов в алфавитном порядке. В версии с комментариями каждый бот кратко описан в комментарии над (списком) пользовательских агентов. Раскомментируйте или удалите ботов (пользовательских агентов), которым вы не хотите предоставлять доступ к вашему сайту.

Существует две версии файла robots.txt:

1. Обычный файл (с комментариями)
   /robots.txt
2. Минимизированный файл (без комментариев)
   /robots.min.txt

Если вы используете мини-версию, не забудьте переименовать ее в robots.txt , чтобы она работала эффективнее.