เว็บมาสเตอร์ส่วนใหญ่รู้ดีว่าเป็นสิ่งสำคัญมากสำหรับเว็บไซต์ที่จะต้องได้รับการจัดอันดับที่ดีในเครื่องมือค้นหา ดังนั้นเว็บมาสเตอร์จำนวนมากจึงพยายามอย่างเต็มที่เพื่อทำให้เครื่องมือค้นหาพอใจ โดยต้องการปฏิบัติต่อสไปเดอร์ของเครื่องมือค้นหาเหมือนจักรพรรดิ โดยหวังว่าจะได้รับความชื่นชมจากสไปเดอร์ จึงปรับปรุงอันดับของเว็บไซต์ แต่ในความเป็นจริง แม้ว่าแมงมุมจะได้รับการดูแลอย่างดี แต่ก็ไม่สามารถได้รับการจัดอันดับที่ดีได้ เพราะเหตุใด แมงมุมจึงไม่มีอารมณ์ของมนุษย์แม้ว่าคุณจะปฏิบัติต่อพวกมันเหมือนจักรพรรดิก็ตาม ฉันไม่ปราณีคุณเช่นกัน แค่ทำทุกอย่างที่คุณต้องการ ดังนั้นในแง่ของการเพิ่มประสิทธิภาพเว็บไซต์ ไม่ใช่ว่ายิ่งสไปเดอร์ดีเท่าไหร่ ผลการเพิ่มประสิทธิภาพก็จะยิ่งดีขึ้นเท่านั้น แต่คุณต้องรู้ข้อดีข้อเสีย! เรียนรู้ทักษะในการบล็อกสไปเดอร์ ตัวอย่างเช่น นอกเหนือจากการจำกัดสไปเดอร์ใน ADMIN เมื่อรวบรวมข้อมูลบน DATA คุณยังสามารถบล็อกสไปเดอร์ในไดเร็กทอรีอื่น ๆ ได้อย่างเหมาะสมซึ่งมีประโยชน์มากเช่นกัน มาวิเคราะห์เทคนิคต่าง ๆ ในการบล็อกสไปเดอร์กัน!
1: สามารถบล็อกทั้งไดเร็กทอรีรูปภาพและเทมเพลตได้
เนื่องจากปัจจุบันเว็บมาสเตอร์จำนวนมากกำลังมองหารูปภาพเดียวกันบนอินเทอร์เน็ตและใช้เทมเพลตสำเร็จรูปเหล่านี้อย่างล้นหลามบนอินเทอร์เน็ต ในเวลานี้ หากคุณปล่อยให้เว็บไซต์ของคุณถูกรวบรวมข้อมูลอีกครั้งโดยสไปเดอร์ สิ่งเหล่านี้ล้าสมัย สิ่งต่าง ๆ จะทำให้คุณโกรธ สไปเดอร์จะรังเกียจมาก ดังนั้นเว็บไซต์ของคุณจะถูกระบุว่าเป็นการเลียนแบบและโกง มันจะยากขึ้นที่จะได้รับความโปรดปรานจากเครื่องมือค้นหา ดังนั้นไดเร็กทอรี IMAGES จึงสามารถถูกบล็อกได้!
2: สามารถบล็อกไดเร็กทอรีแคชเพื่อป้องกันการจัดทำดัชนีซ้ำ
สไปเดอร์มีความโลภมาก ตราบใดที่คุณให้อาหารพวกมัน พวกมันจะยอมรับพวกมันทั้งหมด ไม่ว่าจะเป็นของจริงหรือของปลอม ตัวอย่างเช่น สไปเดอร์จะจัดทำดัชนีเนื้อหาในไดเรกทอรีแคชของเว็บไซต์ ซึ่งจะแตกต่างจากเนื้อหาในนั้น เว็บไซต์ การทำสำเนา หากมีการซ้ำซ้อนมากเกินไปกลไกอัลกอริทึมของ Baidu จะคิดว่าเว็บไซต์ของคุณกำลังโกงซึ่งจะเพิ่มน้ำหนักให้กับเว็บไซต์ของคุณและมีผลกระทบอย่างมากต่อเว็บไซต์ โดยปกติแล้ว ไดเรกทอรีแคชของการสร้างเว็บไซต์แต่ละแห่ง โปรแกรมมีความแตกต่างกัน จำเป็นต้องบล็อกไดเร็กทอรีแคชที่เกี่ยวข้องตามโปรแกรมสร้างเว็บไซต์ที่แตกต่างกัน!
สาม: ไดเรกทอรี CSS และหน้า RSS บางหน้าจำเป็นต้องถูกบล็อก
ไดเร็กทอรี CSS นั้นไม่มีประโยชน์เลยสำหรับสไปเดอร์ หลังจากการรวบรวมข้อมูล มันจะส่งผลต่อการตัดสินของอัลกอริทึมของเครื่องมือค้นหา ดังนั้นจึงสามารถบล็อกผ่านไฟล์ ROBOTS.TXT ได้ นอกจากนี้ หน้า RSS ของโปรแกรมสร้างเว็บไซต์หลายโปรแกรมก็เช่นกัน ของเนื้อหาที่ซ้ำกัน สุดท้ายแล้ว มันก็จะทำให้เสิร์ชเอ็นจิ้นตัดสินผิดพลาดเช่นกัน เนื้อหาทั้ง 2 อย่างนี้ดูเหมือนจะไม่เคารพแมงมุม แต่จริงๆ แล้วมันก็เหมือนกับยาที่ดีซึ่งมีรสขม ในปากและดีต่อโรค!
สี่: หากมีสองเพจ ให้บล็อกเพจไดนามิกก่อน
โดยทั่วไปแล้ว หน้าคงที่ของเว็บไซต์จะได้รับการจัดทำดัชนีโดยเครื่องมือค้นหา โดยทั่วไป การรวบรวมข้อมูลแบบสไปเดอร์และการจัดทำดัชนีเป็นสองสิ่งที่แตกต่างกัน นอกเหนือจากหน้าคงที่แล้ว เว็บไซต์ส่วนใหญ่ยังมีหน้าแบบไดนามิก เช่น "www.XXXX/1.html และ www.xxxxx/asp?id=1 อ้างถึงหน้าเดียวกัน หากไม่ถูกบล็อก สไปเดอร์ทั้งสองหน้าก็จะถูกรวบรวมข้อมูลพร้อมกันอย่างหลีกเลี่ยงไม่ได้ อย่างไรก็ตาม เมื่ออัลกอริทึมของเครื่องมือค้นหากำหนด เนื่องจากมีการค้นพบ เป็นสองหน้าที่เหมือนกันจะถือว่าเว็บไซต์ของคุณสงสัยว่ามีการโกงดังนั้นเราจะเพิ่มการตรวจสอบเว็บไซต์ของคุณซึ่งจะส่งผลต่ออันดับของเว็บไซต์ดังนั้นแนวทางที่ถูกต้องคือการบล็อกหน้าไดนามิกของเว็บไซต์ อันดับแรก!
ห้า: เนื้อหาที่เกี่ยวข้องกับความปลอดภัยและความเป็นส่วนตัวของเว็บไซต์จะต้องถูกบล็อก
มีการกล่าวถึงในตอนต้นของบทความนี้ว่าไดเร็กทอรี ADMIN และ DATA เกี่ยวข้องกับความปลอดภัยและความเป็นส่วนตัวของเว็บไซต์จริงๆ ไม่มีประโยชน์ในการเปิดเผยให้สไปเดอร์ทราบ และอาจมีช่องสำหรับการโจมตีมากขึ้น ดังนั้นความปลอดภัย- ไดเร็กทอรีที่เกี่ยวข้อง เช่น ฐานข้อมูล ไดเร็กทอรี ไดเร็กทอรีบันทึกของเว็บไซต์ และไดเร็กทอรีสำรองข้อมูลทั้งหมดจำเป็นต้องถูกบล็อก นอกจากนี้ เว็บมาสเตอร์บางรายจะดาวน์โหลดเว็บไซต์หลังจากสำรองข้อมูลเว็บไซต์ แต่อาจลบไฟล์สำรองข้อมูลโดยไม่ตั้งใจหลังจากดาวน์โหลดได้ นำไปสู่การรวบรวมข้อมูลซ้ำโดยสไปเดอร์ได้อย่างง่ายดาย และยังง่ายต่อการถูกโจมตีโดยแฮกเกอร์ ดังนั้นจึงจำเป็นอย่างยิ่งที่จะต้องใช้ไฟล์ ROBOTS.TXT เพื่อบล็อกไฟล์เช่น "RAR และ Zip" อย่างน้อยที่สุด! สามารถเพิ่มความปลอดภัยของเว็บไซต์ได้!
โดยรวมแล้ว หากคุณถือว่าสไปเดอร์เป็นจักรพรรดิโดยไม่รู้ตัว คุณมักจะรู้สึกชื่นชมยินดี การแก้ปัญหาความกดดันในการทำงานของสไปเดอร์ผ่านการเพิ่มประสิทธิภาพและการป้องกันที่เหมาะสมถือเป็นคำเยินยอที่ยิ่งใหญ่ที่สุด และยังเป็นวิธีการปรับปรุงระดับการเพิ่มประสิทธิภาพเว็บไซต์ด้วย บทความนี้ : http://www.wowawowa.cn/Wowawawowa Weight Loss Network A5 เป็นรุ่นแรก โปรดระบุเมื่อพิมพ์ซ้ำ ขอบคุณ!
บรรณาธิการที่รับผิดชอบ: พื้นที่ส่วนตัวของ Jiangnan ผู้เขียน Hadron