Was robots.txt betrifft, denken die meisten Leute vielleicht, dass es geschrieben werden kann oder nicht. Wenn Sie es falsch schreiben, werden Sie in Schwierigkeiten geraten, also können Sie es genauso gut überhaupt nicht schreiben. Tatsächlich hat robots.txt bei der Suchmaschinenoptimierung mehrere wunderbare Einsatzmöglichkeiten. Schauen wir uns nun nacheinander die wunderbaren Einsatzmöglichkeiten von robots.txt an.
1. Führen Sie beim Erstellen einer neuen Site den Spider zum Crawlen der Listenseite. Wenn eine neue Website zum ersten Mal erstellt wird, schreiben Sie die Spaltenadresse der Website zum Crawlen in Ihre robots.txt-Datei. Beispiele sind wie folgt
# http://www.xxxxx.cn/ Website-optimierte robots.txt
Benutzeragent: *
Nicht zulassen: /
Nicht zulassen: /plus/advancedsearch.php
Nicht zulassen: /plus/car.php
Nicht zulassen: /plus/carbuyaction.php
Nicht zulassen: /plus/shops_buyaction.php
Nicht zulassen: /plus/erraddsave.php
Nicht zulassen: /plus/posttocar.php
Nicht zulassen: /plus/disdls.php
Nicht zulassen: /plus/feedback_js.php
Nicht zulassen: /plus/mytag_js.php
Nicht zulassen: /plus/rss.php
Nicht zulassen: /plus/search.php
Nicht zulassen: /plus/recommend.php
Nicht zulassen: /plus/stow.php
Nicht zulassen: /plus/count.php
Nicht zulassen: /include
Nicht zulassen: /templets
Es wird die standardmäßige robots.txt von dedecms verwendet, was ich persönlich ziemlich gut finde.
2. Blockieren Sie die Aufnahme von Seiten mit geringer Qualität. Beispielsweise ist eine Ihrer Webseiten eine dynamische Seite, content.asp, und Sie können über die Parameter-ID unterschiedliche Inhalte abrufen. Wenn Sie einen Parameterstil hinzufügen müssen, um verschiedenen Benutzern Seiten mit unterschiedlichen Stilen, aber demselben Inhalt anzuzeigen, Dann kann es für eine Seite mit demselben Inhalt mit der ID 1 mehrere Links geben.
content.asp?id=1
content.asp?id=1&style=red
content.asp?id=1&style=green
Bei diesen Verbindungen ist der Inhalt derselbe, aber die Verbindungen sind unterschiedlich, was zum Auftreten von doppeltem Inhalt führen kann. Hier können Sie die Aufnahme doppelter Seiten über robots.txt wie folgt blockieren:
Benutzeragent: *
Nicht zulassen: content.asp?id=*&style=*
3. Es ist nicht erforderlich, eine Sitemap bei großen Suchmaschinen einzureichen. Google, Microsoft und Yahoo unterstützen diese Erweiterung von robots.txt bereits. Es spart also auch Zeit beim Einreichen einer Sitemap
Bezüglich der spezifischen Schreibmethode von robots.txt wird empfohlen, sich auf die Anleitung von Baidu zu beziehen, die sehr detailliert ist: http://www.baidu.com/search/robots.html
Zuerst auf Webmaster.com veröffentlicht. Bitte behalten Sie den Link http://www.zzyoua.cn/ für den Nachdruck.