ดาวน์โหลด robots.txt - ดาวน์โหลดซอร์สโค้ด robots.txt

robots.txt

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

เทมเพลตไฟล์ Robots.txt

เทมเพลต Robots.txt โดย Jonas Jacek ถูกย้ายไปที่ ditig.com แล้ว

พื้นที่เก็บข้อมูลนี้จะถูกปิดในไม่ช้า

พื้นที่เก็บข้อมูลนี้มี เทมเพลตไฟล์ robots.txt 2 เทมเพลตเพื่อช่วยให้ผู้ดูแลเว็บเก็บโรบ็อตเว็บที่ไม่ต้องการ (เช่น สแครปเปอร์บอท เครื่องมือค้นหาบุคคล เครื่องมือ SEO เครื่องมือการตลาด ฯลฯ) ให้ห่างจากเว็บไซต์ของตน แต่อนุญาตให้มีโรบ็อตที่ถูกต้องตามกฎหมาย (เช่น โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหา)

เพื่อให้ถูกต้องตามกฎหมายและได้รับการจดทะเบียน โรบ็อตต้องปฏิบัติตาม มาตรฐานการยกเว้นของโรบ็อต โดยสมบูรณ์ เทมเพลตไฟล์ robots.txt มีรายการที่อนุญาต โรบ็อตที่ไม่อยู่ในรายการ (User-agent) ไม่ได้รับอนุญาตให้เข้าถึงตามแบบแผนของ Robots Exclusion Standard

ไฟล์

ไฟล์เทมเพลต

ไฟล์เทมเพลต robots.txt มี รายการไวท์ลิสต์ของโรบ็อตเว็บที่ถูกต้อง ตามลำดับตัวอักษร ในเวอร์ชันที่มีการแสดงความคิดเห็น บอทแต่ละตัวจะมีการอธิบายไว้สั้นๆ ในความคิดเห็นเหนือ (รายชื่อ) ตัวแทนผู้ใช้ ยกเลิกหมายเหตุหรือลบบอท (User-agent) ที่คุณไม่ต้องการอนุญาตให้เข้าถึงเว็บไซต์ของคุณ

ไฟล์ robots.txt มี 2 เวอร์ชัน: