如果蜘蛛不能很好的遊覽到我們網站的內容，那麼我們就算在網站投入再大的精力也都是無用的。而對於避免該事情發生最好的方法無疑就是我們能夠很完整的去規劃好整個網站的結構。
首先，我們在建造網站之前，我們都是需要去很好了解蜘蛛爬行的模式與規律，因為我們都知道搜索引擎是通過蜘蛛這款小機器人來遊覽我們網站源代碼進行抓取鏈接，從而很好蒐集資料，從而提交到搜尋引擎資料庫，然後達成網站頁面收錄的效果，並且蜘蛛根據一定的算法定律來進行生成目錄排列，這些都是需要我們簡單的了解。
蜘蛛如果能夠很好的掃描、爬行、抓取我們的網站內容，必然的對我們網站的權重排名會有很大的提升，那麼為了確保我們的網站能夠讓蜘蛛很好的抓取，小編建議各位切勿為網站太多的模式以及結構佈局，從而導致我們的網站內容不能夠很好的抓取，下面小編列舉我手下站點www.name2012.com五個常見的導致蜘蛛不喜歡我們網站原因供大家參考：
(一)導航過於複雜
相信很多的網站設計師與小編在導航設計這一塊特別的頭痛，因為導航嚮導設置太過於複雜，而且在網站又屬於全站式鏈接，對於網站整體的權重以及用戶體驗都是極為重要的，而蜘蛛對於較為複雜的程式碼爬行通常都是比較困難或說不易於抓取，所以複雜的導航無疑會讓蜘蛛走很多彎路導致我們的網站收錄不夠理想，而且讓用戶一層層的點擊，無疑對他們來講是一種浪費時間體驗，不能夠直接找到自己想要的內容，所以複雜的導航無論是對蜘蛛還是使用者都是極為不利的。
解決方法：為網站設計一個簡單導航結構，能夠讓使用者快速的找到自己想要的主題內容，並且我們可以再主導航下方加入下拉導航，這樣就可以很好的體現3級、4級欄了。
(二)網站過多內容顯示圖片及腳本文件上。
搜尋引擎蜘蛛的爬行是透過一些虛擬的工具來進行辯解以文字、腳本為主的內容，然而對於那些Flash、圖片內容蜘蛛是沒有辦法進行抓取的，所以這無疑也是網站UI設計者的一大煩惱問題。
解決方法：透過一些轉換內容的形式使其網站程式碼可以讓搜尋引擎蜘蛛識別，並且我們也可以利用一些搜尋引擎蜘蛛模擬抓取器來進行爬行我們的網站並進行觀察，如若發現在抓取當中有過多的內容遺失或屏蔽的話，這時候我們就需要向辦法重新來設定嚮導從而引誘蜘蛛抓取。
(三)切勿不連貫的連結操作。
在我們建立網站連結的時候，我們一定要很小心的去命名，因為我們都知道搜尋引擎蜘蛛是不可能和人有著相同的判斷思維標準的，它通常是透過我們的URL為標準進行評判，有時候兩段不一樣的程式碼內容確連結相同的URL，那麼這麼時候蜘蛛一定會迷糊，到底哪個內容是你連結頁面所想表達的內容，雖然很多時候我們人可以明白這些邏輯，但畢竟搜尋引擎蜘蛛還不足夠的人性化，所以很多時候我們還是需要以蜘蛛喜愛的形式來進行連結。
為了避免引導蜘蛛不能夠判斷的內容，所以我們必須要使用連貫相同的代碼進行指向鏈接，讓我們的指向鏈接所表達的內容唯一性。
(四)網站錯誤的重定向。
這點就設計到我們網站的301重定向，也就是說用該301重定向的形式進行頁面與頁面之間的跳躍。那麼什麼時候我們會用到301重定向呢?首先我們需要明白它的作用是蜘蛛在爬行頁面的時候，進行跳到了我們指向的那個頁面，通常我們都用於域名重定向，把不帶WWW的重定向到帶WWW的上面，其實不然，很多時候我們在發佈內容的時候，一不小心就會發布重複的內容，並且搜索引擎將其頁面全部收錄，這個時候我們刪除肯定是不行的，那麼我們就可以利用301重定向，把一個頁面跳到另一個頁面之上，這樣不僅僅不算是重複的內容，並且還能把權重進行累計，這無疑是一種很好的方法。
(五)錯誤的網站地圖。
如果想要網站收錄好，網站地圖是一個能夠讓蜘蛛快速爬行抓取的一個重要管道，但是如果說一個錯誤的地圖反而對我們的網站抓取是極為不利的，所以說我們必須要確保地圖的指示準確性，當然現在一般的CMS後台都是自備地圖生成的，所以一般我們都是一鍵生成即可。當然如果說你的網站是運行在一些平台之上的話，那麼我們就需要下載一些自動生成網站地圖的插件了，如果還不行話，我們可以利用HTML代碼進行手動的建設一個地圖頁面，並且在建成之後提交給搜尋引擎即可。
總結：通常蜘蛛不喜歡網站的原因除了網站內容不是原創或採集之外，一般都是這五種情況，當然也不乏一些細節性錯誤的地方，但是畢竟每個網站的情況不同，所以小編只能列表比較典型的情況來進行簡述，如果你對本文有別樣的看法的話，歡迎指教!好了，今天就寫到這裡，本文由樂虎網http://www.6hoo.com站長原文總結，轉載請註明出處，謝謝!
（責任編：陳龍） 作者樂虎網的個人空