所謂的SEO優化，就是讓你的網站可以被搜索引擎收錄，而且能排到好的位置。那要被搜索引擎收錄，首先得贏得搜索引擎蜘蛛的喜歡，蜘蛛爬行了你的網站才有可能收錄。下來就來了解一下什么是搜索引擎蜘蛛，和SEO應該怎么做：

　　搜索引擎蜘蛛一般指：網絡爬蟲

　　網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），它是一種可以在無需人類干預的情況下自動進行一系列web事務處理的軟件程序。是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

　　搜索引擎的爬蟲工作原理

　　網絡 < --- > 爬蟲 < --- > 網頁內容庫 < --- > 索引程序 < --- > 索引庫 < --- > 搜索引擎 < --- > 用戶

　　爬蟲分類：

　　1、通用網絡爬蟲

       又稱全網爬蟲爬行對象從一些種子 URL 擴充到整個 Web，主要為門戶站點搜索引擎和大型 Web 服務提供商采集數據。 由于商業原因，它們的技術細節很少公布出來。結構大致可以分為頁面爬行模塊 、頁面分析模塊、鏈接過濾模塊、頁面數據庫、URL 隊列、初始 URL 集合幾個部分。

　　2、聚焦網絡爬蟲

　　又稱主題網絡爬蟲（Topical Crawler），是指選擇性地爬行那些與預先定義好的主題相關頁面的網絡爬蟲[8]。 和通用網絡爬蟲相比，聚焦爬蟲只需要爬行與主題相關的頁面，極大地節省了硬件和網絡資源，保存的頁面也由于數量少而更新快，還可以很好地滿足一些特定人群對特定領域信息的需求。

　　3、增量式網絡爬蟲

　　是指對已下載網頁采取增量式更新和只爬行新產生的或者已經發生變化網頁的爬蟲，它能夠在一定程度上保證所爬行的頁面是盡可能新的頁面。增量式爬蟲只會在需要的時候爬行新產生或發生更新的頁面 ，并不重新下載沒有發生變化的頁面，可有效減少數據下載量，但是增加了爬行算法的復雜度和實現難度。

　　4、Deep Web 爬蟲

　　按存在方式可以分為表層網頁和深層網頁。表層網頁是指傳統搜索引擎可以索引的頁面，以超鏈接可以到達的靜態網頁為主構成的 Web 頁面。Deep Web 是那些大部分內容不能通過靜態鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關鍵詞才能獲得的 Web 頁面。

　　5、蜘蛛陷阱

       是阻止細蛛程序爬行網站的障得物，通常是那些顯示網頁的技術方法，目前很多瀏覽器在設計的時候考慮過這些因索，所以可能網頁界面看起來非常正常，但這些蜘銖陷阱會對蜘蛛程序造成障礙，如果消除這些細蛛陷阱，可以使蜘銖程序收錄更多的網頁? SEO工作中，網頁被收錄是基礎工作，但對于搜索引擎來講，極少情況會100%收錄你網站的所有網頁，搜索引轚的爬蟲程序設計的再精巧，也難以逾越所@的蜘蛛陷阱。

　　了解了蜘蛛后，那根據蜘蛛的特點，在SEO方面應該怎么做才能討好搜索引擎蜘蛛呢

　　1、突出重要內容

　　合理的title、description和keywords

　　title：只強調重點即可，重要關鍵詞出現不要超過2次，而且要靠前，每個頁面title要有所不同description：把網頁內容高度概括到這里，長度要合理，不可過分堆砌關鍵詞，每個頁面description要有所不同，keywords：列舉出幾個重要關鍵詞即可，也不可過分堆砌。

　　2、語義化書寫HTML代碼，符合W3C標準

　　對于搜索引擎來說，最直接面對的就是網頁HTML代碼，如果代碼寫的語義化，搜索引擎就會很容易的讀懂該網頁要表達的意思。

　　3、利用布局，把重要內容HTML代碼放在最前

　　搜索引擎抓取HTML內容是從上到下，利用這一特點，可以讓主要代碼優先讀取，讓爬蟲最先抓取。

　　4、重要內容不要用JS輸出

　　爬蟲不會讀取JS里的內容，所以重要內容必須放在HTML里。

　　5、盡少使用iframe框架

　　搜索引擎不會抓取到iframe里的內容，重要內容不要放在框架中。不過現在都用DIV+CSS，框架已經很少用到了。

　　6、為圖片加上alt屬性

　　alt屬性的作用是當圖片無法顯示時以文字作為代替顯示出來，對于SEO來說，它可以令搜索引擎有機會索引你網站的圖片。

　　7、需要強調的地方可以加上title屬性

　　在進行SEO優化時，適合將alt屬性設置為圖片本來的含義，而將 ttitle屬性為設置該屬性的元素提供建議性的信息。

　　8、為圖片加上長寬

　　圖片有具體的尺寸，而不是按比例縮放的，會排在前面一點。

　　9、保留文字效果

　　如果需要兼顧用戶體驗和SEO效果，在必須用圖片的地方，例如個性字體的標題，我們可以利用樣式控制，讓文本文字不會出現在瀏覽器上，但在網頁代碼中是有該標題的。

　　注意：不可使用display:none;的方法讓文字隱藏，因為搜索引擎會過濾掉display:none;里邊的內容，就不會被蜘蛛檢索了。

　　10、提高網站速度

　　網站速度是搜索引擎排序的一個重要指標，網頁圖片、代碼盡量精簡，網頁以靜態輸出，對于指向外部網站的鏈接要使用rel="nofollow"屬性告訴爬蟲不要去爬其他的頁面。