คุณจะพบไฟล์ robots.txt ใน FTP ของเว็บไซต์หลายแห่ง รู้เพียงว่านี่เป็นไฟล์ที่จำกัดการเข้าถึงของสไปเดอร์
ไฟล์โรบ็อตคืออะไร ไฟล์นี้เป็นสะพานการสื่อสารระหว่างเครื่องมือค้นหาและเว็บไซต์ เป็นไฟล์ไวยากรณ์ที่ตกลงร่วมกันระหว่างทั้งสองไฟล์ ประตูเดียวกัน หากไม่มีไฟล์นี้ แสดงว่าไม่มีการจำกัดการรวบรวมข้อมูลของเครื่องมือค้นหา หากมีไฟล์นี้อยู่ ระบบจะรวบรวมข้อมูลตามข้อกำหนดที่ระบุไว้ในไฟล์ เว็บมาสเตอร์บางคนอาจถามว่าเมื่อเราสร้างเว็บไซต์ เราจำเป็นต้องสร้างดัชนีโดยเครื่องมือค้นหา แล้วเหตุใดเราจึงควรจำกัดการรวบรวมข้อมูล เครื่องมือค้นหาจะค้นหาทั้งไซต์ในระหว่างขั้นตอนการรวบรวมข้อมูล และอาจมีเนื้อหาบางส่วนในของคุณ เว็บไซต์ที่คุณรวบรวม สิ่งต่าง ๆ หรือหน้าที่คล้ายกันโดยไม่มีเนื้อหาสำคัญ การประเมินเว็บไซต์ของคุณจะลดลงอย่างมากหลังจากที่เครื่องมือค้นหารวบรวมข้อมูล และจะไม่มีผลกระทบต่อ SEO อย่างไรก็ตาม ไฟล์โรบ็อตสามารถบอกได้ว่าสไปเดอร์ หน้าไหนที่ไม่ต้องการให้ไป ดูสิ นอกจากนี้ยังช่วยลดภาระบนเซิร์ฟเวอร์ทางอ้อมด้วย
มีหลายสิ่งที่ควรทราบเกี่ยวกับไฟล์นี้:
1. ชื่อไฟล์ไม่สามารถสะกดไม่ถูกต้อง และจะต้องเป็นตัวพิมพ์เล็ก และส่วนต่อท้ายต้องเป็น .txt
2. ไฟล์จะต้องอยู่ในไดเรกทอรีรากของเว็บไซต์ เช่น: http://www.taofengyu.com/robots.txt และจะต้องสามารถเข้าถึงได้
3. ไวยากรณ์ของเนื้อหาไฟล์จะต้องถูกต้อง โดยทั่วไปแล้ว User-agent และ Disallow มักใช้:
User-agent:* หมายความว่าสไปเดอร์ของเครื่องมือค้นหาทั้งหมดได้รับอนุญาตให้รวบรวมข้อมูลและรวมไว้ หากคุณไม่ต้องการให้ Baidu รวมเว็บไซต์ของคุณ ให้แทนที่ * ด้วย "baiduspider" เนื้อหาที่ถูกจำกัดโดย Disallow จะไม่ถูกรวบรวมข้อมูลและรวมไว้โดย Baidu รวมแมงมุม หากคุณต้องการจำกัดการรวบรวมข้อมูลของทั้งไซต์ ไฟล์ Disallow จะต้องเขียนเป็น "Disallow:/" หากคุณต้องการจำกัดไม่ให้มีการรวบรวมข้อมูลไฟล์ในโฟลเดอร์ใดโฟลเดอร์หนึ่ง ให้เขียนเป็น "Disallow:/admin /" หากคุณต้องการจำกัดการรวบรวมข้อมูลไฟล์ที่ขึ้นต้นด้วยผู้ดูแลระบบ ให้เขียนว่า "Disallow:/admin" และอื่นๆ คุณต้องการจำกัดการรวบรวมข้อมูลไฟล์ในบางโฟลเดอร์ ตัวอย่างเช่น คุณต้องการจำกัดการรวบรวมข้อมูลของ index.htm ในโฟลเดอร์ admin จากนั้นไวยากรณ์ Disallow จะถูกเขียนเป็น "Disallow:/admin/index.htm" หากไม่มี "/" หลังจาก Disallow หมายความว่าทุกหน้าของเว็บไซต์ได้รับอนุญาตให้รวบรวมข้อมูลและรวมไว้ได้
โดยทั่วไปแล้ว สไปเดอร์ไม่จำเป็นต้องรวบรวมข้อมูลไฟล์การจัดการพื้นหลัง ฟังก์ชันโปรแกรม ไฟล์ฐานข้อมูล ไฟล์สไตล์ชีต ไฟล์เทมเพลต รูปภาพบางส่วนของเว็บไซต์ ฯลฯ
4. ต้องมีฟังก์ชัน Disallow อยู่ในไฟล์โรบ็อต ซึ่งเป็นปัจจัยสำคัญในการสร้างไฟล์นี้
นั่นคือทั้งหมดที่เกี่ยวกับความสำคัญและวิธีการของไฟล์โรบ็อต ฉันหวังว่ามันจะเป็นประโยชน์กับทุกคน
บทความนี้มาจากเครือข่ายอุปกรณ์นักเรียน Taofengyu http://www.taofengyu.com/ โปรดระบุแหล่งที่มาเมื่อพิมพ์ซ้ำและเคารพในการทำงานของผู้เขียน
พื้นที่ส่วนตัวของผู้เขียนสำหรับของเล่นเด็กบน Taobao