robots.txt
1.0.0
O modelo Robots.txt de Jonas Jacek foi movido para ditig.com.
Este repositório será fechado em breve.
Este repositório contém 2 modelos de arquivo robots.txt para ajudar os webmasters a manter robôs da web indesejados (por exemplo, scraper bots, mecanismos de pesquisa de pessoas, ferramentas de SEO, ferramentas de marketing, etc.) longe de seus sites, mas permitem robôs legítimos (por exemplo, rastreadores de mecanismos de pesquisa).
Para serem legítimos e serem listados, os robôs devem obedecer integralmente ao Padrão de Exclusão de Robôs . Os modelos de arquivo robots.txt contêm uma lista branca. Robôs não listados (agentes de usuários) não têm permissão de acesso, pelas convenções do Padrão de exclusão de robôs.
Os arquivos de modelo robots.txt contêm uma lista branca ordenada alfabeticamente de robôs da web legítimos . Na versão comentada, cada bot é brevemente descrito em um comentário acima do(s) agente(s) do(s) usuário(s). Remova o comentário ou exclua bots (usuários-agentes) que você não deseja permitir o acesso ao seu site.
Existem duas versões do arquivo robots.txt:
/robots.txt/robots.min.txt Se você usar a versão reduzida, não se esqueça de renomeá-la para robots.txt para ter efeito.
