Robots-Dateien sind ein „Gentleman's Agreement“ zwischen der Website und dem Spider-Programm – Robots-Dateien können nicht nur Website-Ressourcen sparen, sondern Spidern auch dabei helfen, das Web effektiver zu durchsuchen und dadurch das Ranking zu verbessern.
1: Nur Google-Bot zulassen
Wenn Sie alle Crawler außer Googlebot blockieren möchten:
Benutzeragent:*
nicht zulassen:/
Uer-agent: erlaubter Spider-Name
Nicht zulassen:
2: Der Unterschied zwischen „/folder/“ und „/folder“
Zum Beispiel:
Benutzeragent:*
Nicht zulassen:/folder/
Nicht zulassen:/Ordner
„Disallow:/folder/“ bedeutet, dass ein Verzeichnis abgefangen wird. Alle Dateien in diesem Verzeichnis dürfen nicht gecrawlt werden, Ordner.hlml darf jedoch gecrawlt werden.
„Disallow:/folder“: Alle Dateien und die Datei „folder.html“ unter /folder/ können nicht gecrawlt werden.
3: „*“ entspricht einem beliebigen Zeichen
Benutzeragent:*
Zeigt an, dass alle Spinnen blockiert werden sollen. Nachdem wir eine pseudostatische Verarbeitung durchgeführt haben, gibt es gleichzeitig dynamische Webseiten und statische Webseiten. Der Inhalt der Webseiten ist genau derselbe und wird als Spiegelseite betrachtet. Daher müssen wir das dynamische Web blockieren Mit dem *-Zeichen können Sie die dynamischen Webseiten blockieren.
Benutzeragent:*
Nicht zulassen:/?*?/
4: $matching URL endet
Wenn Sie URLs abfangen möchten, die mit einer bestimmten Zeichenfolge enden, können Sie beispielsweise $ verwenden, wenn Sie URLs abfangen möchten, die mit .asp enden:
Benutzeragent:*
Nicht zulassen:/*.asp$
Sie können auch relativ gute Websites öffnen, um zu sehen, wie ihre Roboterdateien geschrieben sind, und dann entsprechende Änderungen entsprechend Ihren eigenen Anforderungen vornehmen. Robots-Dateien können es Spidern ermöglichen, mehr Zeit mit dem zu crawlenden Inhalt zu verbringen, daher ist eine Optimierung der Robots-Dateien erforderlich.
Dieser Artikel stammt von Dongyang Gaofu: http://mygaofu.com . Bitte geben Sie beim Nachdruck den Link an.
Chefredakteur: Yangyang Autor Ich liebe es, den persönlichen Raum zu optimieren