搜尋引擎蜘蛛低爬行率和不完整的收錄是很多網站存在的問題，特別是針對那些大型網站和新站，在很多論壇和網站我看到有人問到如何解決這個問題，很多我的SEO客戶也在問我這個問題，下面給大家一些解答，當然，個人對谷歌比較了解，所以解答主要針對於谷歌進行，當然，同樣的法則也適用於其他搜尋引擎的SEO優化中，包括百度，雅虎等等。
首先，Google的收錄率對於大型網站來說很難去計算，收錄數量由於各種原因可能並不是真實收錄數量，所以我們得出的收錄率對於大型網站來說並不准確，谷歌提供的webmaster工具可能要好一些，裡面收錄的資訊更有可信性，但是，如果你的網站確實太大，那麼收錄多少肯能真的無法準確得出。當然，如果你硬要計算出網站的收錄率，對大網站來說，不如隨機選取幾十個介面，手動查詢每個介面是否收錄，透過機率的方法，大致得到收錄率，當然，這也不可能絕對準確。
蜘蛛的爬行和收錄不可能被準確的控制，但是我們可以用一些正面的因素來影響它，盡量的讓它收錄的更好，下面具體分析：
1.網域重要性，Google的MATT CUTTS最近接受訪問的時候承認，網站的收錄率和蜘蛛爬行深度和PR大概成正比關係，也就是說，PR越高，你的站收錄絕對會越好。
2.反向鏈接，PR是基於反相鏈接的，於是，它當然會成為影響收錄的主要原因，一個站點內容增加迅速，但是鏈接增加緩慢，搜索引擎會認為你的站點比較垃圾。
3.深度鏈接，深度鏈接就是指向內容頁面的反向鏈接，這些鏈接會讓你的內頁有非常好的SEO優化效果，有深度鏈接的頁面排名和收錄都會非常不錯。
4.導航列和清晰的層次，對於網站，扁平結構最為合理，可以讓搜尋引擎很好的識別你的內容，更方便收錄，同時要有明確的導航，讓最重要的頁面，無論在哪裡都可以在4次點擊之內進入，最好2次以內，這樣搜尋引擎會更好的識別抓取重要頁面。
5.xml 網站地圖，這是一個必須要做的事情，網頁的地圖一定會幫助你的網站提高收錄和收錄速度，毋庸置疑。
6.減少雷同內容，在做網站時，一定盡量多的原創，搜尋引擎可以根據模糊匹配很好的識別雷同內容，從而不會給予高權重，大家可以看看信息論，深入了解一下雷同網頁如何分配權重的規則，目前百度等搜尋引擎基本上都是以資訊理論為這方面的計算核心。
7.別緻的標題，如果你的標題已經存在很多同樣的文章，那麼搜尋引擎會考慮是不是有必要收錄，所以標題要盡量別緻一些。
8.手動設定更新頻率，提交網站地圖時手動設定網站更新頻率，盡量讓搜尋引擎快點更新網站。
9.更新，回复，Ping命令，經常對內頁和主頁進行更新維護，細節上的，而不是整體的，這樣做會很好的提升爬蟲爬行效率，同時多的回復也能提高你的首旅率，rss要充分利用，因為那可以理解成一個自動產生的網站地圖，建議把RSS也提交給搜尋引擎。
10.社交網絡，儘管類似於校內的這些社交網的鏈接可能用了nofollow標籤，但是谷歌也有針對這些社交網站的計算方法，在社交網站多一些你網站的內容，相信也會提升你的網頁網頁收錄率。
本文章取自大連SEO： http://www.seo-dalian.com/ ?p=381
務必保留鏈接，版權搜索，翻版必究
感謝大連SEO 的投稿