-
robots.txt é o primeiro arquivo que os spiders do mecanismo de pesquisa visualizam quando rastreiam seu site. Esse arquivo informa ao programa spider do mecanismo de pesquisa quais arquivos em seu site podem ser visualizados e quais não. Hoje em dia, os principais motores de busca ainda cumprem este regulamento. Hefei SEO tem um profundo conhecimento disso. Este site desbloqueou o arquivo robots.txt por volta das 23h do dia 20 para permitir que os spiders dos mecanismos de busca o acessassem. Eu verifiquei e o Baidu realmente fechou. No segundo, o Google também aceitou.
Já disse o suficiente, vamos ao que interessa. robots.txt é um arquivo de texto. Ele deve ser denominado "robots.txt" e carregado no diretório raiz do site. O upload para um subdiretório é inválido porque os robôs do mecanismo de pesquisa só procurarão por isso no diretório raiz do seu nome de domínio. documento. Novamente, não há necessidade de perder o tempo de todos aqui se você não tiver o conhecimento básico de Hefei SEO. Você pode acessar a Central de Ajuda do Baidu Search e o Blog do administrador chinês do Google. Aqui, apresentamos principalmente o robots.txt da perspectiva de. Papel do SEO no processo de otimização de sites.
1. Dicas para usar o robots.txt que são benéficas para a otimização de sites
1. A construção de sites online oferece uma maneira conveniente. Quando resolvemos o nome de domínio para o servidor, podemos acessar o site, mas neste momento o site não está bem organizado e as meta tags ainda estão uma bagunça. O site neste momento foi rastreado e incluído por spiders de mecanismos de pesquisa. Se for alterado nesse momento, será muito prejudicial para a otimização de SEO. Neste momento, você pode usar o arquivo robots.txt para configurar todos os spiders do mecanismo de pesquisa para não permitir a consulta de todo o conteúdo do site. Seu formato de sintaxe é:
Agente do usuário: *
Proibir: /
2. Personalize os spiders dos mecanismos de pesquisa para rastrear conteúdo específico, permitindo que você escolha como lidar com os mecanismos de pesquisa com base nas condições do site. Existem dois significados aqui.
(1) Mecanismo de busca personalizado. Se você desdenha o que Du Niang faz, pode fazer com que ela fique olhando para você assim. Seu formato de sintaxe é:
Agente do usuário: baiduspider
Proibir: /
Nota: Nomes comuns de robôs em mecanismos de pesquisa.
Mecanismo de busca de nomes
Baidu Spider http://www.baidu.com
Scooter http://www.altaVista.com
ia_archiver http://www.Alexa.com
Googlebot http://www.google.com
FAST-WebCrawler http://www.alltheweb.com
Sorvete http://www.inktomi.com
MSNBOThttp ://search.msn.com
(2) Personalize o conteúdo do site. Ou seja, você pode especificar um diretório para permitir que os spiders rastreiem e um diretório para proibir o rastreamento dos spiders. Por exemplo, todos os spiders de mecanismos de pesquisa têm permissão para rastrear o conteúdo no diretório abc, mas estão proibidos de rastrear o conteúdo no diretório def.
Agente do usuário: *
Permitir: /abc/
Proibir: /def/
3. Oriente os mecanismos de pesquisa para rastrear o conteúdo do site. Os métodos mais típicos aqui são
(1) Oriente os spiders para rastrear o mapa do seu site. Seu formato de sintaxe é:
Agente do usuário: *
mapa do site: url do mapa do site
(2) Evite que spiders rastreiem seu site em busca de conteúdo duplicado.
4. Problema na página de erro 404. Se o seu servidor personalizar uma página de erro 404 e não configurar um arquivo robots.txt no diretório raiz do seu site, os spiders dos mecanismos de pesquisa irão tratá-lo como um arquivo robots.txt, o que afetará a inclusão das páginas do seu site pelos mecanismos de pesquisa. .
2. Como escrever robots.txt para construção de sites usando programas específicos. Estas são apenas gerais, você deve decidir de acordo com sua situação específica.
1. Como escrever o arquivo robots.txt para construção de site DedeCMS
Agente do usuário: *
Não permitir: /plus/feedback_js.php
Não permitir: /plus/feedback.php
Não permitir: /plus/mytag_js.php
Não permitir: /plus/rss.php
Não permitir: /plus/search.php
Não permitir: /plus/recommend.php
Não permitir: /plus/stow.php
Não permitir: /plus/count.php
Proibir: /incluir
Não permitir: /templets
Proibir: /membro
2. Como escrever o arquivo robots.txt para construção de site WordPress
Agente do usuário: *
Proibir: /wp-admin
Não permitir: /wp-content/plugins
Não permitir: /wp-content/themes
Não permitir: /wp-includes
Proibir: /?s=
Mapa do site: http://www.***.com/sitemap.xml
3. Como escrever o arquivo robots.txt para construção de site phpcms
Agente do usuário: *
Proibir: /admin
Não permitir: /dados
Não permitir: /templates
Proibir: /incluir
Não permitir: /idiomas
Não permitir: /api
Proibir: /fckeditor
Proibir: /instalar
Não permitir: /count.php
Proibir: /comentário
Proibir: /guestbook
Proibir: /anunciar
Proibir: /membro
Proibir: /mensagem
Proibir: /spider
Proibir: /yp
Proibir: /voto
Proibir: /vídeo
4. Como escrever o arquivo robots.txt no fórum discuz
Agente do usuário: *
Permitir: /redirect.php
Permitir: /viewthread.php
Permitir: /forumdisplay.php
Proibir: /?
Não permitir: /*.php
Embora o tema seja antigo, ainda há muito o que aprender. Algumas pessoas dizem que configurar o arquivo robots.txt trará o risco de ser atacado por "pessoas intencionais". Como base, você não tem nada a temer. Como você é uma "pessoa intencional", você não tem nada a fazer (isso). não é apenas o programa de construção do site em si, mas também a segurança do servidor, etc. De Hefei SEO: http://www.anhuiseo.org Por favor, indique a fonte para reimpressão.
Obrigado a qhpf298 pela sua contribuição