-
robots.txt เป็นไฟล์แรกที่สไปเดอร์ของเครื่องมือค้นหาดูเมื่อรวบรวมข้อมูลไซต์ของคุณ ไฟล์นี้จะบอกโปรแกรมสไปเดอร์ของเครื่องมือค้นหาว่าไฟล์ใดในเว็บไซต์ของคุณที่ได้รับอนุญาตให้ดูได้และไฟล์ใดที่ไม่ได้รับอนุญาต ปัจจุบันเครื่องมือค้นหากระแสหลักยังคงปฏิบัติตามกฎระเบียบนี้ Hefei SEO มีความเข้าใจอย่างลึกซึ้งเกี่ยวกับเรื่องนี้ ฉันตรวจสอบแล้ว Baidu ก็ปิดมันจริง ๆ แล้ว Google ตัวที่สองก็ยอมรับมันเช่นกัน
พูดพอแล้ว มาลงมือทำธุรกิจกันดีกว่า robots.txt เป็นไฟล์ข้อความ จะต้องตั้งชื่อว่า "robots.txt" และอัปโหลดไปยังไดเร็กทอรีรากของไซต์ การอัปโหลดไปยังไดเร็กทอรีย่อยไม่ถูกต้อง เนื่องจากโรบ็อตของเครื่องมือค้นหาจะค้นหาสิ่งนี้ในไดเร็กทอรีรากของชื่อโดเมนของคุณเท่านั้น . เอกสาร. ขอย้ำอีกครั้งว่าไม่จำเป็นต้องเสียเวลาของทุกคนที่นี่หากคุณไม่มีความรู้พื้นฐานเกี่ยวกับ Hefei SEO คุณสามารถไปที่ Baidu Search Help Center และ Google Chinese Administrator Blog ที่นี่ เราจะแนะนำ robots.txt เป็นหลัก บทบาทในกระบวนการเพิ่มประสิทธิภาพเว็บไซต์
1. เคล็ดลับในการใช้ robots.txt ที่เป็นประโยชน์ต่อการเพิ่มประสิทธิภาพเว็บไซต์
1. การสร้างเว็บไซต์ออนไลน์เป็นวิธีที่สะดวก เมื่อเราแก้ไขชื่อโดเมนไปยังเซิร์ฟเวอร์ เราก็สามารถเข้าถึงไซต์ได้ แต่ในขณะนี้ ไซต์ไม่ได้รับการจัดวางอย่างดี และเมตาแท็กยังคงยุ่งเหยิง ไซต์ในขณะนี้ได้รับการรวบรวมข้อมูลและรวมไว้ด้วยสไปเดอร์ของเครื่องมือค้นหา หากมีการเปลี่ยนแปลงในขณะนั้น จะส่งผลเสียต่อการเพิ่มประสิทธิภาพ SEO อย่างมาก ในขณะนี้ คุณสามารถใช้ไฟล์ robots.txt เพื่อตั้งค่าสไปเดอร์ของเครื่องมือค้นหาทั้งหมดไม่ให้ทำการสืบค้นเนื้อหาทั้งหมดของไซต์ รูปแบบไวยากรณ์ของมันคือ:
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /
2. ปรับแต่งสไปเดอร์ของเครื่องมือค้นหาเพื่อรวบรวมข้อมูลเนื้อหาที่ระบุ ช่วยให้คุณสามารถเลือกวิธีจัดการกับเครื่องมือค้นหาตามเงื่อนไขของไซต์ มีสองความหมายที่นี่
(1) เครื่องมือค้นหาที่กำหนดเอง หากคุณดูถูกสิ่งที่ตู้เนียงทำ คุณสามารถทำให้เธอจ้องมองคุณแบบนี้ได้ รูปแบบไวยากรณ์ของมันคือ:
ตัวแทนผู้ใช้: baiduspider
ไม่อนุญาต: /
หมายเหตุ: ชื่อโรบอตเครื่องมือค้นหาทั่วไป
เครื่องมือค้นหาชื่อ
Baiduspider http://www.baidu.com
สกู๊ตเตอร์ http://www.altaVista.com
ia_archiver http://www.Alexa.com
Googlebot http://www.google.com
FAST-WebCrawler http://www.alltheweb.com
สเลป http://www.inktomi.com
MSNBOT http://search.msn.com
(2) ปรับแต่งเนื้อหาไซต์ กล่าวคือ คุณสามารถระบุไดเร็กทอรีเพื่ออนุญาตให้สไปเดอร์รวบรวมข้อมูล และไดเร็กทอรีเพื่อป้องกันไม่ให้สไปเดอร์รวบรวมข้อมูลได้ ตัวอย่างเช่น สไปเดอร์ของเครื่องมือค้นหาทั้งหมดได้รับอนุญาตให้รวบรวมข้อมูลเนื้อหาภายใต้ไดเร็กทอรี abc แต่ไม่ได้รับอนุญาตให้รวบรวมข้อมูลเนื้อหาภายใต้ไดเร็กทอรี def รูปแบบไวยากรณ์คือ:
ตัวแทนผู้ใช้: *
อนุญาต: /abc/
ไม่อนุญาต: /def/
3. แนะนำเครื่องมือค้นหาในการรวบรวมข้อมูลเนื้อหาเว็บไซต์ วิธีการทั่วไปที่นี่คือ
(1) นำทางสไปเดอร์เพื่อรวบรวมข้อมูลแผนที่เว็บไซต์ของคุณ รูปแบบไวยากรณ์ของมันคือ:
ตัวแทนผู้ใช้: *
แผนผังเว็บไซต์:sitemap-url
(2) ป้องกันไม่ให้สไปเดอร์รวบรวมข้อมูลเว็บไซต์ของคุณเพื่อหาเนื้อหาที่ซ้ำกัน
4. ปัญหาหน้าข้อผิดพลาด 404 หากเซิร์ฟเวอร์ของคุณปรับแต่งหน้าแสดงข้อผิดพลาด 404 และไม่ได้กำหนดค่าไฟล์ robots.txt ในไดเรกทอรีรากของไซต์ของคุณ สไปเดอร์ของเครื่องมือค้นหาจะถือว่าไฟล์ดังกล่าวเป็นไฟล์ robots.txt ซึ่งจะส่งผลต่อการรวมหน้าเว็บไซต์ของคุณโดยเครื่องมือค้นหา .
2. วิธีเขียน robots.txt สำหรับการสร้างเว็บไซต์โดยใช้โปรแกรมเฉพาะ นี่เป็นเพียงเรื่องทั่วไป คุณต้องตัดสินใจตามสถานการณ์เฉพาะของคุณ
1. วิธีเขียนไฟล์ robots.txt สำหรับการสร้างเว็บไซต์ DedeCMS
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /plus/feedback_js.php
ไม่อนุญาต: /plus/feedback.php
ไม่อนุญาต: /plus/mytag_js.php
ไม่อนุญาต: /plus/rss.php
ไม่อนุญาต: /plus/search.php
ไม่อนุญาต: /plus/recommend.php
ไม่อนุญาต: /plus/stow.php
ไม่อนุญาต: /plus/count.php
ไม่อนุญาต: /รวม
ไม่อนุญาต: /templets
ไม่อนุญาต: /สมาชิก
2. วิธีเขียนไฟล์ robots.txt สำหรับการสร้างเว็บไซต์ WordPress
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /wp-admin
ไม่อนุญาต: /wp-content/plugins
ไม่อนุญาต: /wp-content/themes
ไม่อนุญาต: /wp-includes
ไม่อนุญาต: /?s=
แผนผังเว็บไซต์: http://www.***.com/sitemap.xml
3. วิธีเขียนไฟล์ robots.txt สำหรับการสร้างเว็บไซต์ phpcms
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /admin
ไม่อนุญาต: /data
ไม่อนุญาต: /templates
ไม่อนุญาต: /รวม
ไม่อนุญาต: /ภาษา
ไม่อนุญาต: /api
ไม่อนุญาต: /fckeditor
ไม่อนุญาต: /install
ไม่อนุญาต: /count.php
ไม่อนุญาต: /comment
ไม่อนุญาต: /guestbook
ไม่อนุญาต: /ประกาศ
ไม่อนุญาต: /สมาชิก
ไม่อนุญาต: /ข้อความ
ไม่อนุญาต: /spider
ไม่อนุญาต: /yp
ไม่อนุญาต: /โหวต
ไม่อนุญาต: /video
4. วิธีเขียนไฟล์ robots.txt ในฟอรัม discuz
ตัวแทนผู้ใช้: *
อนุญาต: /redirect.php
อนุญาต: /viewthread.php
อนุญาต: /forumdisplay.php
ไม่อนุญาต: /?
ไม่อนุญาต: /*.php
แม้ว่าหัวข้อจะเก่า แต่ก็ยังมีอะไรให้เรียนรู้อีกมาก บางคนบอกว่าการตั้งค่าไฟล์ robots.txt จะนำความเสี่ยงที่จะถูกโจมตีโดย "คนมีเจตนา" ในฐานะคนระดับรากหญ้า คุณไม่มีอะไรต้องกลัว เนื่องจากคุณเป็น "คนมีเจตนา" คุณจึงไม่ต้องทำอะไร (สิ่งนี้) ไม่ใช่แค่โปรแกรมสร้างเว็บไซต์เท่านั้น แต่ยังรวมถึงความปลอดภัยของเซิร์ฟเวอร์ด้วย จาก Hefei SEO: http://www.anhuiseo.org โปรดระบุแหล่งที่มาสำหรับการพิมพ์ซ้ำ
ขอบคุณ qhpf298 สำหรับการสนับสนุนของเขา