絕大多數站長都知道，網站能夠在搜尋引擎裡獲得很好的排名是非常重要的，於是很多站長竭盡全力搜尋引擎之能事，恨不得把搜尋引擎的蜘蛛當成皇上來看待，希望能夠獲得蜘蛛的賞識，從而提升網站的排名，可是事實上，即使把蜘蛛伺候好了，也不能夠獲得很好的排名，這是為什麼呢?因為蜘蛛並沒有人類的情感，即時你把它當成皇上他也對你毫無憐憫，該怎樣就怎樣，所以在網站優化方面，並不是對蜘蛛越好優化效果就越好，而是要懂得取捨!要學會屏蔽一些蜘蛛的技巧!比如除了限制蜘蛛在ADMIN和DATA上的爬行，還可以在其他的目錄上適當的屏蔽蜘蛛，也是非常有好處的，下面就來分析幾種屏蔽蜘蛛的技巧!
一：圖片和模板目錄都可以進行屏蔽
因為目前很多站長都是在互聯網上找相同的圖片和套用現成的模板，這些模板和圖片已經在互聯網氾濫了，此時你還讓你的網站被蜘蛛再次爬行這些老掉牙的東西，自然會讓蜘蛛非常的反感，從而讓你的網站貼上模仿作弊的標籤，想要獲得搜尋引擎的青睞反而是更加困難，所以IMAGES目錄通常可以屏蔽!
二：快取目錄可以屏蔽，防止重複索引
蜘蛛是非常貪婪的，只要你給他餵食，它是不管真實還是虛幻都照單全收，比如網站的緩存目錄裡面的內容，蜘蛛也會照樣來進行索引，這勢必和網站裡面的內容出現了重複，如果出現重複的數量過多，那麼百度的演算法機制就會認為你的網站在作弊，從而甚至提升你網站的權重，給網站帶來極大的影響，通常每種建站程序的緩存目錄是不一樣的，要根據不同的建站程序來屏蔽對應的快取目錄是很有必要的!
三：CSS目錄及部分rss頁需屏蔽
CSS目錄對蜘蛛而言是完全無用的，抓取後反而會影響搜尋引擎演算法的判斷，所以可以透過ROBOTS.TXT檔案來進行屏蔽，另外很多建站程式的RSS頁也是一種內容的重複，抓取後來也會造成搜尋引擎的誤判斷，這兩方面的內容都需要屏蔽!這種屏蔽看起來是對蜘蛛的大不敬，實際上卻如良藥苦口利於病!忠言逆耳利於行!
四：如果有雙頁面，優先封鎖動態頁面
一般而言，網站的靜態頁面是很容易被搜尋引擎收錄，通常蜘蛛抓取和收錄是兩回事，網站除了靜態頁面之外，大部分網站還存在著動態的頁面，例如「www.XXXX/1. html與www.xxxxx/asp?id=1這兩個指的是同一個頁面，如果不進行屏蔽的話，勢必造成兩個頁面同時被蜘蛛抓取，可是到了搜尋引擎演算法判斷的時候，因為發現了兩個一樣的頁面，就會認為你網站存在作弊的嫌疑，所以加大對你網站的考察力度，從而影響到網站的排名，所以正確的做法是優先屏蔽網站的動態頁面!
五：涉及網站安全隱私的內容要封鎖
本文的開頭提到了ADMIN和DATA目錄實際上是有關網站安全隱私的內容，暴露給蜘蛛是沒有絲毫好處的，甚至還可能會多一份被攻擊的頻道，所以涉及到有關安全的目錄，例如資料庫目錄，網站日誌目錄以及備份目錄都需要進行屏蔽，另外有些站長在網站備份後，再進行下載，可是下載過後有不注意對備份文件的刪除，這也是很容易導致蜘蛛重複抓取，也容易導致被駭客攻擊，所以利用ROBOTS.TXT檔案來屏蔽類似」RAR和Zip」檔案也是非常有必要的!最起碼能夠增強網站的安全性!
總而言之，如果一味的把蜘蛛當成皇上，往往是馬屁拍到尾巴上了，通過適當的優化屏蔽，解決蜘蛛的工作壓力，這才是最大的馬屁，也是提升網站優化水平的大道!本文來源： http://www.wowawowa.cn/我哇我哇減肥網A5首發，轉載請註明，謝謝!
責任編輯:強子作者江南的個人空