A grande maioria dos webmasters sabe que é muito importante para um site obter uma boa classificação nos motores de busca, por isso muitos webmasters fazem o possível para agradar aos motores de busca, desejando tratar os spiders dos motores de busca como imperadores, na esperança de que os Spiders sejam apreciados, melhorando assim a classificação do site, mas na verdade, mesmo que a aranha seja bem cuidada, ela não consegue uma boa classificação. Por que isso acontece porque as aranhas não têm emoções humanas, mesmo que você as trate como um imperador. Eu também não tenho piedade de você, apenas faça o que quiser, então em termos de otimização de sites, não é que quanto melhores forem os spiders, melhor será o efeito de otimização, mas você deve conhecer as vantagens e desvantagens. aprenda as habilidades para bloquear alguns spiders Por exemplo, além de restringir spiders em ADMIN Ao rastrear DADOS, você também pode bloquear spiders adequadamente em outros diretórios, o que também é muito benéfico.
1: Os diretórios de imagens e modelos podem ser bloqueados
Porque muitos webmasters estão atualmente procurando as mesmas imagens na Internet e aplicando modelos prontos. Esses modelos e imagens foram inundados na Internet. Neste momento, se você deixar seu site ser rastreado novamente por aranhas, esses serão antiquados. as coisas naturalmente deixarão você com raiva. As aranhas ficam muito enojadas, então seu site será rotulado como imitador e trapaceiro. Será mais difícil ganhar o favor dos mecanismos de pesquisa, então o diretório IMAGES geralmente pode ser bloqueado!
2: O diretório de cache pode ser bloqueado para evitar indexações repetidas
As aranhas são muito gananciosas. Contanto que você as alimente, elas aceitarão todas, sejam elas reais ou ilusórias. Por exemplo, a aranha indexará o conteúdo no diretório de cache do site, que certamente será diferente do conteúdo do site. o site. Duplicação. Se houver muitas duplicações, o mecanismo de algoritmo do Baidu pensará que seu site está trapaceando, o que aumentará até mesmo o peso do seu site e terá um grande impacto no site. O programa é diferente, é necessário bloquear os diretórios de cache correspondentes de acordo com os diferentes programas de construção de sites!
Três: diretórios CSS e algumas páginas RSS precisam ser bloqueadas
O diretório CSS é completamente inútil para spiders. Após o rastreamento, ele afetará o julgamento do algoritmo do mecanismo de busca, podendo ser bloqueado por meio do arquivo ROBOTS.TXT. Além disso, as páginas RSS de muitos programas de construção de sites também são um tipo. de duplicação de conteúdo. No final, também causará erros de julgamento por parte dos mecanismos de busca. Ambos os aspectos do conteúdo precisam ser bloqueados. Esse tipo de bloqueio parece desrespeitoso com as aranhas, mas na verdade é como um bom remédio, que é amargo! na boca e bom para a doença O bom conselho é duro para os ouvidos, mas bom para as ações!
Quatro: se houver duas páginas, bloqueie primeiro a página dinâmica
De modo geral, as páginas estáticas de um site são facilmente indexadas pelos mecanismos de pesquisa. Geralmente, o rastreamento e a indexação do spider são duas coisas diferentes. Além das páginas estáticas, a maioria dos sites também possui páginas dinâmicas, como "www.XXXX/1.html e. www.xxxxx/asp?id=1 referem-se à mesma página. Se não forem bloqueadas, as duas páginas serão inevitavelmente rastreadas por spiders ao mesmo tempo. Porém, quando o algoritmo do mecanismo de busca determinar, porque é descoberto se houver. são duas páginas idênticas, será considerado que o seu site é suspeito de trapaça, por isso aumentaremos a fiscalização do seu site, o que afetará a classificação do site. Portanto, a abordagem correta é bloquear as páginas dinâmicas do site. primeiro!
Cinco: O conteúdo relacionado à segurança e privacidade do site deve ser bloqueado
Foi mencionado no início deste artigo que os diretórios ADMIN e DATA estão na verdade relacionados à segurança e privacidade do site. Não há benefício em expô-lo a spiders, podendo até haver mais canais para ataques, portanto, segurança. diretórios relacionados, como bancos de dados, estão envolvidos. O diretório, o diretório de log do site e o diretório de backup precisam ser bloqueados. Além disso, alguns webmasters baixam o site após fazer o backup, mas excluem acidentalmente o arquivo de backup após o download. facilmente levar a rastreamento repetido por aranhas, e também é fácil de fazer. Isso pode levar ao ataque de hackers, por isso é muito necessário usar arquivos ROBOTS.TXT para bloquear arquivos como "RAR e Zip" No mínimo, é isso! pode aumentar a segurança do site!
Resumindo, se você considera cegamente as aranhas como imperadores, muitas vezes será lisonjeiro. Resolver a pressão de trabalho das aranhas por meio de otimização e proteção adequadas é a maior lisonja e também a maneira de melhorar o nível de otimização do site! este artigo: http://www.wowawowa.cn/Wowawowa Weight Loss Network A5 é o primeiro lançamento, indique ao reimprimir, obrigado!
Editor responsável: O espaço pessoal de Jiangnan, autor de Hadron