蜘蛛是搜尋引擎最重要的部分之一。不同的搜尋引擎有不同「脾氣」的蜘蛛，掌握蜘蛛的特性對我們進行SEO是相當有用的。既然是蜘蛛，那我們就給他建一個網吧，只有一個網才是他的家，你不能給他弄個窯洞，他住的不習慣。
既然基本概念我們知道了，那我們就來搭建這個網。怎麼建好呢?就以某個電影網站為例來講這個過程。電影的種類很多，有古裝劇，有現代劇，有愛情劇，有青春劇，有喜劇，也有悲劇，種類繁多……那好，這些種類都是從不通視角，來進行分類的。就像我們學習的數學概念「集合」一樣，每個集合都有自己的一個條件，符合條件的我們就把圈進去。
簡單看，這並不是什麼所謂的網啊?也沒有跟跟你所說的主題相一致啊。大家不要急，你說一部電影他是古裝劇了，他有沒有可能是愛情劇呢，答：有可能，還有沒有可能是國外的呢?有可能。對於同一部電影他可能出現在這眾多類別裡面的許多類別裡面。從一句話裡就能看出來：一部國外古代青年的美麗愛情故事，這樣的電影，他就會在四個類別裡面。
絲絲相連，環環相扣…
在這樣的情況下，如果一個人記得這個電影的某一個屬性他就可以找到他想要看的;同樣，蜘蛛也是，他達到目標也不需要只通過一條道了，條條大路都能到達。這樣豈不是讓蜘蛛很歡喜，所以在建設一個網站的時候，我們首先要做的就是思考，思考能分成幾個主題，主題之間是否可以有交叉;誇張一些說，我們要分類的東西都沒有我們分出來的類別多，這樣的結構才更夠力度。
網頁立體化視圖：
1)首頁→文章推薦→內頁
2)首頁→文章推薦→欄頁→內頁
3)首頁→網站地圖→欄頁→內頁
4)首頁→網站目錄→內頁
5)首頁→標籤雲→內頁
6)內頁→內頁導覽→首頁
7)內頁→內頁
這是關於內容分類的分析，分析完了之後，我們的架構就基本上有一個眉目了……盡量讓每一個終端頁面都能多出現幾次，增加他的曝光機會。這樣的分類，無論是蜘蛛還是我們的用戶，體驗都是很好的，都會感覺不用花很大力氣就完成了他的工作。
這是內容的分析，第二點，就是我們網站的層次。網站的目錄層次不要太多，google和百度對於小型網站的抓取，一般就是3層，超過3層了，蜘蛛就有可能不再抓取，不抓取的內容，就更不要說有什麼可能排名了。
所以在設計網站的時候，大家盡量讓網站的層級少一些，給蜘蛛一些便利的條件，使其能夠較為容易的完成自己工作，與蜘蛛方便,自己方便嘛?o(∩_∩)o.. .
http://www.paoshouji.com/index.html 一級目錄
http://www.paoshouji.com/list-feizhuliu/index.html 二級目錄
其它的依次類推。
看一下這個例子就能讓大家充分明白，網站的層次性，如果太深的話，蜘蛛很難能爬的進去，那我們所做就全部都白費功夫了。
講到這裡，以上主要闡述了兩點：第一，網站內容分析，對內容進行詳細的分類，讓每一個終端頁面都能透過多種途徑找到;第二，就是網站裡面任意一個終端頁面所面臨的層次問題，盡可能的減少終端頁面的層次。
第三點，我們開始講，網站的內部連結的建立。
很多初學習seo的人都知道，外鏈對於網站排名來說很重要。但是外鏈的多寡和穩定性，經常是我們難以掌握的。一個網站的內鏈確實是我們做為一個站長可以完全控制的，內鏈對於網站權重支撐作用更是無法比擬的。
下面我們開始說內鏈：
講內鏈我覺得最容易說明問題的是百度百科，也是大家最容易理解的。百度百科，所謂百科就是，你在裡面什麼動能找到，你在任何一個地方不懂了，都能隨時點擊該名詞，該名詞之後就鏈接著他的解釋……(很典型的內部鏈接) 這個詞條可能在其他的許多頁麵包含著，而包含有這個詞條的頁面對與這個詞條頁面排名或者稱重都是完美的支撐…
我們做自己的站也是這樣的，在你的頁裡面如果出現了一個相對生僻一點又跟你網站相關的詞，那我建議你在站裡面找一個跟相關性比較強的頁面做鏈接，能對他起到解釋作用;首先對於瀏覽者來講，這是一個有效的幫助，增強用戶體驗度;而對於蜘蛛來講，他會通過這個入口去走到另外一個頁面，增加網頁收錄的多通道性。 (引用藍星空的話)“另外，如果此頁面被別人複製到其他頁面去了，並且未去掉鏈接，也能為自己的網站增加外鏈，帶來流量”
這兩點一個叫做使用者體驗度，一個叫做搜尋引擎體驗度，這就可以做到一個：你好，我好，大家好的多贏的局面。說到這裡，其實也就淡化了seo本身的概念，如果你考慮了大家來到這裡的心理活動過程，讓大家得到了很好的體驗，那大家會記住你的站，自然的，這也是搜尋引擎要做的工作。
搜尋引擎的宗旨就是：在廣大網友搜尋的時候能夠提供他的客戶最有用的信息，實現他自身的價值。如果用一個搜尋引擎搜尋出來的東西，都是跟自己想要的資訊八竿子打不著的話，那這個搜尋引擎無疑是沒有立足之地的。
呵呵，扯遠了，總而言之，就是把我們網站做的符合人們的思維方式，體現人性化，人文化，總結一下，第一個：主要是讓網站內容之間的聯繫盡可能的多，是網站的結構立體化。第二點：簡化網址層級，使網站結構扁平化，增加被搜尋爬蟲抓取的機會與可能性。