ทุกคนที่ทำ SEO รู้ดีว่าสิ่งสำคัญคือต้องรวมเว็บไซต์ไว้ในเครื่องมือค้นหา หากเว็บไซต์ของคุณไม่รวมอยู่ในเครื่องมือค้นหา SEO ก็ไม่มีปัญหา ดังนั้น หากคุณต้องการให้เครื่องมือค้นหาค้นพบเว็บไซต์ของคุณ และเว็บเพจของคุณได้รับการจัดทำดัชนีอย่างถูกต้องโดยเครื่องมือค้นหา คุณต้องทำให้เว็บไซต์ของคุณง่ายต่อการรวบรวมข้อมูลของสไปเดอร์ก่อน เครื่องมือที่เสิร์ชเอ็นจิ้นใช้เพื่อรวบรวมข้อมูลหน้าเว็บเรียกว่าสไปเดอร์หรือโรบ็อตรวบรวมข้อมูล และชื่อภาษาอังกฤษคือโรบอต สไปเดอร์เหล่านี้รวบรวมข้อมูลหน้าเว็บของเราหลายหน้าตามไฮเปอร์ลิงก์ แต่บางหน้าไม่สามารถรวบรวมข้อมูลได้ บางหน้าเป็นเพราะตัวเว็บไซต์เองมีปัญหาบางอย่างที่ไม่เอื้อต่อการรวบรวมข้อมูลแบบสไปเดอร์ ทำให้ยากสำหรับหน้าเว็บที่เกี่ยวข้องในการจัดทำดัชนีโดยเครื่องมือค้นหา ดังนั้นการสร้าง "กับดักแมงมุม" โดยทั่วไปหมายถึงเทคโนโลยีการผลิตเว็บไซต์ที่ไม่เป็นมิตรกับเครื่องมือค้นหา เทคโนโลยีเหล่านี้ไม่เอื้อต่อการที่แมงมุมรวบรวมข้อมูลหน้าเว็บของเรา เพื่อหลีกเลี่ยงสถานการณ์นี้ Xiaowuming ได้สรุปปัจจัยต่อไปนี้เพื่อป้องกันแมงมุมจาก เข้ากับดัก
1: เพจที่ใช้รหัสเซสชัน ไซต์การขายบางแห่งจะใช้รหัสเซสชันเพื่อติดตามผู้ใช้เพื่อวิเคราะห์ข้อมูลผู้ใช้บางอย่าง เมื่อเข้าถึงไซต์ ผู้ใช้แต่ละคนจะเพิ่มรหัสเซสชันให้กับ URL ของการเข้าชมแต่ละครั้งด้วย ถือเป็นผู้ใช้ใหม่ แต่ละครั้งที่สไปเดอร์เข้าชม URL รหัสเซสชันจะถูกเพิ่ม ซึ่งจะส่งผลให้มีหน้าเดียวกันแต่มี URL ที่แตกต่างกัน ซึ่งจะส่งผลให้หน้าเนื้อหาซ้ำกัน และ ยังเป็นกับดักแมงมุมที่พบได้บ่อยที่สุดอีกด้วย ตัวอย่างเช่น เพื่อปรับปรุงประสิทธิภาพการขาย บางเว็บไซต์จะมีการสนทนาแบบป๊อปอัป เช่น สวัสดีเพื่อนจาก XXX เป็นต้น
2: กับดักแมงมุมทั่วไปที่ใช้การลงทะเบียนบังคับหรือเข้าสู่ระบบเพื่อเข้าถึงหน้าต่างๆ นี่เป็นเรื่องยากสำหรับสไปเดอร์เนื่องจากสไปเดอร์ไม่สามารถส่งการลงทะเบียนและไม่สามารถป้อนชื่อผู้ใช้และรหัสผ่านเพื่อเข้าสู่ระบบเพื่อดูเนื้อหาได้ สำหรับสไปเดอร์เราคือเนื้อหาของคุณ คลิกเพื่อดูโดยตรงก็เป็นเนื้อหาที่สไปเดอร์สามารถดูได้
3: ฉันชอบไซต์ที่ใช้ Flash เหตุผลที่ฉันบอกว่าฉันชอบไซต์ที่ใช้ Flash ก็เพราะสำหรับองค์กรขนาดเล็กและขนาดกลางบางแห่ง เนื่องจาก Flash สามารถสร้างเอฟเฟกต์ได้หลายประเภท โดยเฉพาะอย่างยิ่งเมื่อมีการใช้ในการนำทาง มีเอฟเฟ็กต์ภาพที่ชัดเจน เว็บไซต์องค์กรหลายแห่งชอบใช้แฟลชเพื่อแสดงจุดแข็ง วัฒนธรรม ผลิตภัณฑ์ของบริษัท ฯลฯ แม้แต่หน้าแรกของเว็บไซต์องค์กรบางแห่งก็ยังเป็นแฟลชไม่ว่าจะด้วยการข้ามไปยังหน้าอื่นผ่านแฟลชหลังจากผ่านช่วงระยะเวลาหนึ่งไปแล้ว เวลาหรือโดยใช้แฟลช ลิงก์อนุญาตให้ผู้ใช้คลิกเพื่อเข้าสู่หน้าใหม่ แต่สไปเดอร์จะอ่านเนื้อหาในแฟลชได้ยาก ดังนั้น สไปเดอร์จึงคลิกลิงก์ในแฟลชได้ยากเช่นกัน
4: Dynamic URL, เพิ่มสัญลักษณ์หรือพารามิเตอร์ URL มากเกินไปใน URL ฯลฯ กับดักแมงมุมประเภทนี้ที่ฉันได้กล่าวถึงในการเพิ่มประสิทธิภาพ URL แม้ว่าจะมีการพัฒนาทางเทคโนโลยีของเครื่องมือค้นหา แต่ URL แบบไดนามิกจะมีประสิทธิภาพน้อยกว่าในการรวบรวมข้อมูล กำลังมีปัญหาน้อยลงเรื่อยๆ แต่ในแง่ของความเป็นมิตรต่อเครื่องมือค้นหา URL แบบคงที่หรือแบบคงที่นั้นค่อนข้างดีกว่า URL แบบไดนามิก คุณสามารถดูจำนวนเพื่อนร่วมงาน SEO ที่จัดการ URL ได้
5: เฟรม ในสมัยแรกๆ มีการใช้เฟรมกันอย่างแพร่หลายทุกที่ แต่ปัจจุบัน เว็บไซต์จำนวนมากบนหน้าเว็บเฟรมไม่ค่อยได้ใช้งาน ประการแรก ด้วยการพัฒนาระบบ CMS ที่สำคัญ การบำรุงรักษาเว็บไซต์จึงกลายเป็นเรื่องง่าย เฟรมที่ใช้ก็เพราะสะดวกต่อการดูแลรักษาหน้าเว็บไซต์ อีกทั้งไม่เอื้อต่อการรวมเครื่องมือค้นหาและเป็นสาเหตุหนึ่งที่ทำให้เฟรมถูกใช้น้อยลง
6: JS แม้ว่าตอนนี้เครื่องมือค้นหาจะสามารถติดตามและพยายามแยกส่วนและวิเคราะห์ลิงก์ใน JavaScript ได้ แต่เราก็ไม่ควรคาดหวังว่าเครื่องมือค้นหาจะเอาชนะปัญหาได้ด้วยตัวเอง แม้ว่าการนำทางที่มีประสิทธิภาพบางอย่างสามารถทำได้ผ่าน JS แต่ CSS ก็สามารถทำได้เช่นกัน ทำมัน เพื่อปรับปรุงความเป็นมิตรของเว็บไซต์ต่อเครื่องมือค้นหา ขอแนะนำให้ทำให้เว็บเพจสามารถรวบรวมข้อมูลได้ดีขึ้นโดยสไปเดอร์ พยายามอย่าใช้ js แน่นอนว่าใน seo ข้อดีอย่างหนึ่งของ js ก็คือเว็บมาสเตอร์ทำ ไม่ต้องการให้รวมเพจต่างๆ หรือลิงก์ที่เป็นมิตรสามารถใช้ js ได้ อีกวิธีหนึ่งในการกำจัดกับดักแมงมุม Javascript คือการใช้แท็ก <noscript> แท็ก <noscript> ให้โค้ดทางเลือกสำหรับเบราว์เซอร์ที่ไม่รองรับ JavaScript สไปเดอร์ไม่รัน JavaScript ดังนั้นพวกมันจึงประมวลผลโค้ด <noscript> แทน
7: หน้าเว็บที่มีความลึก ซึ่งบางหน้าไม่มีทางเข้าและอยู่ห่างจากหน้าแรกของเว็บไซต์ ค่อนข้างยากสำหรับสไปเดอร์ที่จะรวบรวมข้อมูล แน่นอนว่าอาจเป็นเรื่องที่แตกต่างกันสำหรับเว็บไซต์ที่มีน้ำหนักมาก หากต้องการรวมหน้าเว็บไซต์ จะต้องมีน้ำหนักพื้นฐานก่อน โดยทั่วไปน้ำหนักของหน้าแรกจะสูงที่สุด จากนั้นน้ำหนักของหน้าแรกจึงสามารถส่งผ่านไปยังหน้าภายในได้ เพิ่มขึ้นถึงเกณฑ์ที่สามารถรวมเพจได้ ตามทฤษฎีนี้ การถ่ายโอนน้ำหนักระหว่างเพจจะลดลง ดังนั้น ยิ่งระยะการคลิกระหว่างเพจด้านในกับโฮมเพจใกล้กันมากเท่าไหร่ก็ยิ่งรับน้ำหนักได้มากขึ้นเท่านั้น โอนได้ที่หน้าหลัก โครงสร้างเว็บไซต์ที่ดีจะทำให้สามารถรวมหน้าต่างๆ ของเว็บไซต์ได้มากขึ้น
8: การบังคับใช้คุกกี้เทียบเท่ากับการปิดการใช้งานคุกกี้โดยตรงสำหรับเครื่องมือค้นหา บางเว็บไซต์จะใช้คุกกี้บังคับเพื่อให้บรรลุฟังก์ชั่นบางอย่าง เช่น การติดตามเส้นทางการเข้าถึงของผู้ใช้ การจดจำข้อมูลผู้ใช้ หรือแม้แต่การขโมยความเป็นส่วนตัวของผู้ใช้ เป็นต้น หากผู้ใช้ไม่เปิดใช้งานคุกกี้เมื่อเยี่ยมชมเว็บไซต์ดังกล่าว หน้าเว็บที่แสดงจะผิดปกติ ดังนั้นสไปเดอร์จึงไม่สามารถเข้าถึงหน้าเว็บเดียวกันได้ตามปกติ
9: การกระโดดในรูปแบบต่างๆ ฉันเชื่อว่าเด็ก SEO หลายคนคุ้นเคยกับการเปลี่ยนเส้นทาง 301 เป็นอย่างดี อย่างไรก็ตาม สไปเดอร์รู้สึกรังเกียจอย่างมากกับ 302 อื่นๆ หรือการกระโดดเช่น การรีเฟรชเมตา, จาวาสคริปต์, แฟลช ฯลฯ และ 301 ไม่ใช่วิธีสุดท้าย รีสอร์ท เมื่อใช้แล้วการกระโดดใดๆ จะทำให้แมงมุมคลานได้ระดับหนึ่งนะรู้ยัง
10: ข้อผิดพลาดในการเขียน Robots.txt และเทคนิคการโกงต่างๆ เช่น ข้อความที่ซ่อนอยู่ ลิงก์ที่ซ่อนอยู่ ฯลฯ โดยใช้หน้าเว็บปลอมเพื่อแสดงหน้าเว็บต่างๆ เพื่อตรวจสอบว่าผู้เยี่ยมชมเป็นสไปเดอร์หรือเบราว์เซอร์ธรรมดา และใช้ข้อผิดพลาดเริ่มต้น หน้า 404 ฯลฯ จะทำให้เกิดอุปสรรคในการคลานกับแมงมุมด้วย แหล่งที่มาของบทความนี้: เว็บไซต์ SEO ของเซินเจิ้น: http://www.zhsem.com/ โปรดเคารพความคิดริเริ่มโปรดระบุเมื่อพิมพ์ซ้ำขอขอบคุณ!
พื้นที่ส่วนตัวของผู้เขียน เสี่ยว หวู่หมิง