การอภิปรายสั้นๆ เกี่ยวกับการใช้ลิงก์แผนที่เว็บไซต์ในไฟล์ robots.txt

ข้อดีของการวางลิงก์แผนผังเว็บไซต์ในไฟล์ robots.txt คือผู้ดูแลเว็บไม่จำเป็นต้องไปที่เครื่องมือของผู้ดูแลเว็บของเครื่องมือค้นหาแต่ละเครื่องหรือส่วนผู้ดูแลเว็บที่คล้ายกันเพื่อส่งไฟล์แผนผังเว็บไซต์ของตนเอง วิธีนี้สามารถช่วยให้เว็บมาสเตอร์ลดงานลงได้

เครื่องมือค้นหาหลักทั้งหมดได้เปิดตัววิธีใหม่ในการรองรับแผนผังไซต์ ซึ่งก็คือการรวมลิงก์ไปยังไฟล์แผนผังไซต์ในไฟล์ robots.txt โดยตรง บริษัทเสิร์ชเอ็นจิ้นที่สนับสนุนสิ่งนี้ในปัจจุบัน ได้แก่ Google และ Yahoo แต่บริษัทเสิร์ชเอ็นจิ้นของจีนไม่ได้อยู่ในแวดวงนี้อย่างชัดเจน

ข้อดีก็คือผู้ดูแลเว็บไม่จำเป็นต้องไปที่เครื่องมือของผู้ดูแลเว็บหรือส่วนที่คล้ายกันของผู้ดูแลเว็บแต่ละเครื่องมือค้นหาเพื่อส่งไฟล์แผนผังเว็บไซต์ของตนเอง สไปเดอร์ของเครื่องมือค้นหาจะรวบรวมข้อมูลไฟล์ robots.txt และอ่านเนื้อหาในนั้น เส้นทางแผนผังเว็บไซต์ จากนั้นรวบรวมข้อมูลหน้าเว็บที่เชื่อมโยง

ขึ้นอยู่กับสมมติฐานที่ว่า robots.txt เป็นมาตรฐานอยู่แล้ว เว็บไซต์ทั้งหมดมีอย่างน้อยหนึ่งแห่ง และแผนผังเว็บไซต์ยังคงสร้างมาตรฐานอยู่ วิธีการนี้สามารถลดการทำงานของผู้ดูแลเว็บได้ และหากพวกเขาไม่ต้องการดัชนีและรายละเอียดเพิ่มเติม ข้อมูลการค้นหา คุณเพียงแค่ต้องรวมแผนผังไซต์ลงใน robots.txt เท่านั้น

มาเริ่มกันเลยและแก้ไขไฟล์ robots.txt

 -
# robots.txt สำหรับ xxx.com
# เวอร์ชัน 2009.04.04
-

ตัวแทนผู้ใช้: *

ไม่อนุญาต: /function/
ไม่อนุญาต: /FCKeditor/
ไม่อนุญาต: /แคช/
ไม่อนุญาต: /SCRIPT/
ไม่อนุญาต: /ผู้ดูแลระบบ/
ไม่อนุญาต: /wap.asp
ไม่อนุญาต: /cmd.asp
แผนผังเว็บไซต์: http://www.xxx.com/sitemap.xml