เกี่ยวกับ robots.txt คนส่วนใหญ่อาจคิดว่าเขียนผิดก็ได้ หากคุณเขียนผิด คุณจะเดือดร้อน ดังนั้นคุณอาจเขียนไม่ได้เลยเช่นกัน ในความเป็นจริง ในการเพิ่มประสิทธิภาพกลไกค้นหา robots.txt มีประโยชน์หลายอย่างที่ยอดเยี่ยม ตอนนี้เรามาดูการใช้งานที่ยอดเยี่ยมของ robots.txt ทีละรายการกัน
1. เมื่อสร้างไซต์ใหม่ ให้แนะนำสไปเดอร์ให้รวบรวมข้อมูลหน้ารายการ เมื่อสร้างเว็บไซต์ใหม่เป็นครั้งแรก ให้เขียนที่อยู่คอลัมน์ของเว็บไซต์ใน robots.txt เพื่อการรวบรวมข้อมูล ตัวอย่างมีดังนี้
# http://www.xxxxx.cn/ เว็บไซต์ robots.txt ที่ปรับให้เหมาะสม
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /
ไม่อนุญาต: /plus/advancedsearch.php
ไม่อนุญาต: /plus/car.php
ไม่อนุญาต: /plus/carbuyaction.php
ไม่อนุญาต: /plus/shops_buyaction.php
ไม่อนุญาต: /plus/erraddsave.php
ไม่อนุญาต: /plus/posttocar.php
ไม่อนุญาต: /plus/disdls.php
ไม่อนุญาต: /plus/feedback_js.php
ไม่อนุญาต: /plus/mytag_js.php
ไม่อนุญาต: /plus/rss.php
ไม่อนุญาต: /plus/search.php
ไม่อนุญาต: /plus/recommend.php
ไม่อนุญาต: /plus/stow.php
ไม่อนุญาต: /plus/count.php
ไม่อนุญาต: /รวม
ไม่อนุญาต: /templets
มีการใช้ค่าเริ่มต้นของ robots.txt ของ dedecms ซึ่งโดยส่วนตัวแล้วฉันรู้สึกค่อนข้างดี
2. บล็อกเพจคุณภาพต่ำไม่ให้ถูกรวมไว้ ตัวอย่างเช่น หนึ่งในหน้าเว็บของคุณคือเพจแบบไดนามิก content.asp และคุณสามารถรับเนื้อหาที่แตกต่างกันผ่านรหัสพารามิเตอร์ หากคุณต้องการเพิ่มสไตล์พารามิเตอร์เพื่อแสดงเพจที่มีสไตล์ต่างกัน แต่มีเนื้อหาเดียวกันสำหรับผู้ใช้ที่แตกต่างกัน ดังนั้นสำหรับเพจที่มีเนื้อหาเดียวกันกับ ID 1 อาจมีลิงก์หลายลิงก์
content.asp?id=1
content.asp?id=1&style=red
content.asp?id=1&style=green
สำหรับการเชื่อมต่อเหล่านี้ เนื้อหาจะเหมือนกันแต่การเชื่อมต่อแตกต่างกัน ซึ่งอาจส่งผลให้มีเนื้อหาที่ซ้ำกัน ที่นี่ คุณสามารถบล็อกการรวมหน้าที่ซ้ำกันผ่าน robots.txt ได้ดังนี้:
ตัวแทนผู้ใช้: *
ไม่อนุญาต: content.asp?id=*&style=*
3. ไม่จำเป็นต้องส่งแผนผังเว็บไซต์ไปยังเครื่องมือค้นหาหลักๆ Google, Microsoft และ Yahoo ล้วนสนับสนุนส่วนขยายของ robots.txt นี้แล้ว ดังนั้นจึงช่วยประหยัดเวลาในการส่งแผนผังเว็บไซต์ด้วย
สำหรับวิธีการเขียนเฉพาะของ robots.txt ขอแนะนำให้อ้างอิงคำแนะนำจาก Baidu ซึ่งมีรายละเอียดมาก http://www.baidu.com/search/robots.html
เผยแพร่ครั้งแรกบน Webmaster.com โปรดเก็บลิงก์ http://www.zzyoua.cn/ ไว้เพื่อการพิมพ์ซ้ำ