robots.txt

Robots.txt-Dateivorlage

Die Robots.txt-Vorlage von Jonas Jacek wurde nach ditig.com verschoben.

Dieses Repository wird in Kürze geschlossen.

---

Dieses Repository enthält zwei robots.txt-Dateivorlagen , die Webmastern helfen sollen, unerwünschte Web-Robots (z. B. Scraper-Bots, Personensuchmaschinen, SEO-Tools, Marketing-Tools usw.) von ihren Websites fernzuhalten, legitime Robots (z. B. Suchmaschinen-Crawler) jedoch zuzulassen.

Um legitim zu sein und in die Liste aufgenommen zu werden, müssen Roboter den Robots Exclusion Standard vollständig einhalten. Die robots.txt-Dateivorlagen enthalten eine Whitelist. Nicht gelisteten Robotern (Benutzeragenten) ist gemäß den Konventionen des Robots Exclusion Standard der Zugriff nicht gestattet.

Dateien

Vorlagendateien

Die robots.txt-Vorlagendateien enthalten eine alphabetisch geordnete weiße Liste legitimer Web-Robots . In der kommentierten Version wird jeder Bot kurz in einem Kommentar über der (Liste der) Benutzeragenten beschrieben. Entkommentieren oder löschen Sie Bots (Benutzeragenten), denen Sie keinen Zugriff auf Ihre Website gewähren möchten.

Es gibt zwei Versionen der robots.txt-Datei:

1. Die reguläre Datei (mit Kommentaren)
   /robots.txt
2. Die minimierte Datei (keine Kommentare)
   /robots.min.txt

Wenn Sie die minimierte Version verwenden, vergessen Sie nicht, sie in robots.txt umzubenennen, um wirksam zu sein.