robots.txt

Modèle de fichier Robots.txt

Le modèle Robots.txt de Jonas Jacek a été déplacé vers ditig.com.

Ce référentiel sera fermé prochainement.

---

Ce référentiel contient 2 modèles de fichiers robots.txt pour aider les webmasters à éloigner les robots Web indésirables (par exemple les robots scraper, les moteurs de recherche de personnes, les outils de référencement, les outils marketing, etc.) de leurs sites Web, mais à autoriser les robots légitimes (par exemple les robots des moteurs de recherche).

Pour être légitimes et être répertoriés, les robots doivent respecter pleinement la norme d'exclusion des robots . Les modèles de fichiers robots.txt contiennent une liste blanche. Les robots non répertoriés (agents utilisateurs) ne sont pas autorisés, selon les conventions du Robots Exclusion Standard, à accéder.

Fichiers

Fichiers modèles

Les fichiers modèles robots.txt contiennent une liste blanche de robots Web légitimes, classés par ordre alphabétique. Dans la version commentée, chaque bot est brièvement décrit dans un commentaire au-dessus du (des) user-agent(s). Décommentez ou supprimez les robots (user-agents) que vous ne souhaitez pas autoriser à accéder à votre site Web.

Il existe deux versions du fichier robots.txt :

1. Le dossier régulier (avec commentaires)
   /robots.txt
2. Le fichier minifié (pas de commentaires)
   /robots.min.txt

Si vous utilisez la version minifiée, n'oubliez pas de la renommer en robots.txt pour qu'elle soit efficace.