ไฟล์ Robots.txt เพื่อนๆ คงจะเคยได้ยินเรื่องนี้ไม่มากก็น้อย หรืออาจเขียนเองก็ได้ จริงๆ แล้ว ฉันยังไม่ได้เขียนไฟล์ robots.txt เลย ไม่ใช่ว่าฉันเขียนไม่ได้ ฉันแค่รู้สึกว่าไม่มีอะไรในบล็อกที่ต้องป้องกันไม่ให้สไปเดอร์รวบรวมข้อมูล และทุกคนต้องทราบด้วยว่าความน่าจะเป็นของลิงก์เสียในบล็อกส่วนตัวควรมีน้อยมาก และไม่จำเป็นต้องจัดการกับลิงก์เสียมากเกินไป ดังนั้นฉันจึงไม่คิดว่าจำเป็น อย่างไรก็ตาม วิธีการเขียนไฟล์ robots.txt เป็นหนึ่งในทักษะที่เว็บมาสเตอร์แต่ละรายต้องเชี่ยวชาญ และการใช้งานยังคงกว้างขวางมาก นี่คือคำแนะนำโดยละเอียดซึ่งถือได้ว่าเป็นบทวิจารณ์สำหรับตัวคุณเอง
ไฟล์ robots.txt คืออะไร
ดูจากชื่อไฟล์ จะมีส่วนต่อท้าย .txt คุณควรทราบด้วยว่านี่คือไฟล์ข้อความ ซึ่งก็คือ Notepad Robots คนที่รู้ภาษาอังกฤษบ้างก็น่าจะรู้ดี สำหรับเราแล้ว Robot ตัวนี้เป็นตัวแทนของหุ่นยนต์เสิร์ชเอ็นจิ้น หน้าที่ของมันคือบอกสไปเดอร์ว่าไม่จำเป็นต้องรวบรวมข้อมูลคอลัมน์หรือหน้าเหล่านั้น แน่นอนว่ามันสามารถบล็อกการเข้าถึงของสไปเดอร์บางตัวได้โดยตรงเช่นกัน โปรดทราบว่าไฟล์นี้อยู่ในไดเร็กทอรีรากของเว็บไซต์เพื่อให้แน่ใจว่าสไปเดอร์สามารถอ่านเนื้อหาไฟล์ได้โดยเร็วที่สุด
บทบาทของไฟล์โรบ็อต
ในความเป็นจริง ไฟล์โรบ็อตถูกใช้โดยเรามากที่สุดเพื่อบล็อกลิงก์ที่ใช้งานไม่ได้ภายในเว็บไซต์ ทุกคนควรรู้ว่าการมีลิงก์เสียมากเกินไปบนเว็บไซต์จะส่งผลต่อน้ำหนักของเว็บไซต์ อย่างไรก็ตาม แม้ว่าการล้างลิงก์ที่เสียบนเว็บไซต์จะไม่ใช่เรื่องยาก แต่ก็ยังใช้เวลานาน โดยเฉพาะอย่างยิ่งหากมีลิงก์ที่เสียในเว็บไซต์จำนวนมาก การล้างข้อมูลจะยุ่งยากมากในเวลานี้ ประโยชน์ของไฟล์โรบ็อตจะสะท้อนให้เห็น เราสามารถเขียนลิงก์ที่เสียเหล่านี้ลงในไฟล์ได้โดยตรงตามรูปแบบเพื่อป้องกันไม่ให้สไปเดอร์รวบรวมข้อมูล คุณสามารถล้างลิงก์เหล่านั้นได้ช้าๆ ในอนาคต เนื้อหาเว็บไซต์บางส่วนมี URL หรือไฟล์ที่เว็บมาสเตอร์ไม่ต้องการให้สไปเดอร์รวบรวมข้อมูล และสามารถบล็อกได้โดยตรงเช่นกัน สำหรับแมงมุมป้องกัน โดยทั่วไปจะใช้น้อยกว่า
วิธีเขียนไฟล์โรบ็อต
ประเด็นนี้ควรมีความสำคัญมากกว่านี้ หากคุณเขียนอะไรผิดและพยายามปิดกั้นแต่ล้มเหลว แต่ถ้าคุณเขียนบางสิ่งที่คุณต้องการถูกจับและหาไม่ทัน คุณจะประสบกับความสูญเสียครั้งใหญ่ ก่อนอื่น เราต้องรู้สองแท็ก อนุญาต และ ไม่อนุญาต แท็กหนึ่งได้รับอนุญาต และอีกแท็กหนึ่งไม่ได้รับอนุญาต ทุกคนสามารถเข้าใจการทำงานของมันได้
ตัวแทนผู้ใช้: *
ไม่อนุญาต:
หรือ
ตัวแทนผู้ใช้: *
อนุญาต:
เนื้อหาสองย่อหน้านี้ระบุว่าทุกอย่างได้รับอนุญาตให้รวบรวมข้อมูลได้ อันที่จริงแท็ก Disallow ใช้เพื่อบล็อก URL และไฟล์ เว้นแต่เว็บไซต์ของคุณจะมีเพียงไม่กี่รายการที่คุณต้องการให้รวบรวมข้อมูลและใช้แท็กอนุญาต User-agent นี้: ตามด้วยชื่อสไปเดอร์ ทุกคนควรคุ้นเคยกับชื่อสไปเดอร์ของเครื่องมือค้นหากระแสหลัก ลองใช้ Soso Spider เป็นตัวอย่าง: Sosospider
เมื่อเราต้องการบล็อก Soso Spider:
ตัวแทนผู้ใช้: sosospider
ไม่อนุญาต: /
คุณจะพบว่าเมื่อเทียบกับการอนุญาตข้างต้น แมงมุมป้องกันนี้มี "/" อีกหนึ่งตัวเท่านั้น และความหมายของมันเปลี่ยนไปอย่างมาก ดังนั้น คุณต้องใช้ความระมัดระวังในการเขียน และคุณไม่สามารถปิดกั้นแมงมุมได้เพียงเพราะคุณเขียนเพิ่มเติม เฉือนแต่ไม่รู้ นอกจากนี้ ใน user-agent: หากชื่อสไปเดอร์ที่ตามด้วย "*" ได้รับการแก้ไขแล้ว แสดงว่าชื่อสไปเดอร์ทั้งหมดเป็นชื่อนั้น
หากต้องการป้องกันไม่ให้ไดเร็กทอรีถูกรวบรวมข้อมูลโดยสไปเดอร์ของเครื่องมือค้นหา รหัสการตั้งค่าจะเป็นดังนี้:
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /ไดเร็กทอรี/
โปรดทราบว่าหากคุณต้องการป้องกันการรวบรวมข้อมูลของไดเร็กทอรี คุณต้องใส่ใจกับ "/" ในชื่อไดเร็กทอรี หากไม่มี "/" หมายความว่าการเข้าถึงหน้าไดเร็กทอรีนี้และเพจภายใต้ไดเร็กทอรีถูกบล็อก และด้วย " /" หมายถึง การเข้าสู่ไดเร็กทอรีที่ถูกบล็อก ในหน้าเนื้อหาด้านล่าง จะต้องแยกสองประเด็นนี้ให้ชัดเจน หากคุณต้องการบล็อกหลายไดเรกทอรีคุณต้องใช้
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /directory1/
ไม่อนุญาต: /directory2/
แบบฟอร์มนี้ต้องไม่อยู่ในรูปของ /directory 1/directory 2/
หากคุณต้องการป้องกันไม่ให้สไปเดอร์เข้าถึงไฟล์บางประเภท เช่น เพื่อป้องกันการรวบรวมข้อมูลรูปภาพในรูปแบบ .jpg คุณสามารถตั้งค่าเป็น:
ตัวแทนผู้ใช้: *
ไม่อนุญาต: .jpg$
ข้างต้นเป็นวิธีการเขียนของ Shanghai SEO Xiaoma สำหรับไฟล์โรบ็อตของเว็บไซต์ทั้งหมด โดยจะกล่าวถึงเฉพาะประเภทและข้อควรระวังของวิธีการเขียนโรบ็อตเท่านั้น มีคำอธิบายเพียงเล็กน้อยเกี่ยวกับวิธีการเขียนเฉพาะ เช่น การบล็อกสไปเดอร์เป้าหมายหรือวิธีการเขียนอื่นๆ แต่คุณรู้ความหมายของอนุญาตและไม่อนุญาต การคิดถึงเรื่องนี้อาจได้รับความหมายอื่น ๆ อีกมากมายในการเขียน ยังมีวิธีเขียนแท็กเมตาหน้าเว็บของโรบ็อตสำหรับหน้าเว็บบางหน้าด้วย แต่โดยทั่วไปจะใช้ไม่มากนัก
ข้อมูลข้างต้นเรียบเรียงโดย Shanghai seo pony http://www.mjlseo.com/ โปรดระบุเมื่อพิมพ์ซ้ำ ขอบคุณ
บรรณาธิการบริหาร: พื้นที่ส่วนตัวของผู้เขียน Yangyang Xiaoma Laoma