我們都知道做網絡推廣的最終目的是為了帶來流量、排名和訂單，那么至關重要的前提是，搜索引擎能對你的網站和文章進行很好的收錄。然而，當面對收錄效果差的時候，很多伙伴并不知道是為什么，很大程度上是因為不太了解一個關鍵所在——搜索引擎蜘蛛。

一、什么是搜索引擎蜘蛛？

搜索引擎是如何通過蜘蛛對網站進行收錄和排名的呢?如何才能提升蜘蛛爬取效果呢?

確實如同白話理解的一般，互聯網可以理解成一張巨大的“蜘蛛網”，搜索引擎蜘蛛是類似實質的“機器人”。

蜘蛛的主要任務就是在巨大的蜘蛛網(互聯網)中瀏覽信息，然后把這些信息都抓取到搜索引擎的服務器上，建立索引庫。就好比機器人瀏覽我們的網站，然后把內容保存到自己的電腦上。

每家獨立的搜索引擎都會有自己的網頁抓取程序爬蟲。蜘蛛爬蟲順著網頁中的超鏈接分析連續訪問抓去更多網頁。被抓取的網頁被稱之為網頁快照。毋庸置疑，搜索引擎蜘蛛抓取網頁是有一定規律的。

如下：

1.權重優先：先參照鏈接的權重，再綜合深度優先和寬度優先策略抓取。打個比方，如果這條鏈接的權重還不錯，就采用深度優先;如果權重很低，則采用寬度優先。

2.蜘蛛深度抓取：指蜘蛛發現一個鏈接進行爬行的過程中，一直向前，直到最深層級不可再爬行為止，然后返回最初爬行頁面，再進行下一個鏈接爬行。就好比從網站的首頁，爬行到網站的第一個欄目頁，再通過欄目頁爬行一個內容頁，然后跳出首頁，對第二個網站進行爬行。

3.蜘蛛廣度抓取：指蜘蛛爬行一個頁面時，存在多個鏈接，并非對一個鏈接進行深入抓取，例如：蜘蛛進入網站首頁后，對所有欄目頁進行有效爬行，再對所有欄目頁下的二級欄目或者內容頁進行爬行，也就是一層層的爬行方式，不是一個個的爬行方式。

4.重訪抓取：這個就可以直接從字面上理解。因為搜索引擎使用單個重訪與全部重訪結合的居多。所以我們做網站內容要記得定期維護日常更新，讓蜘蛛多來訪多抓取才能收錄快。

二、搜索引擎的蜘蛛是如何爬的，如何吸引蜘蛛來抓取頁面

搜索引擎的工作過程大體可以分成三個階段：

(1)爬行和抓取：搜索引擎蜘蛛通過跟蹤鏈接發現和訪問頁面，讀取頁面HTML代碼，存到數據庫。

(2)預處理：索引程序對抓取來的頁面數據進行文字提取、中文分詞、索引、倒排索引等處理，以備排名程序調用。

(3)排名：用戶輸入查詢詞(關鍵詞)后，排名程序調用索引數據，計算相關性，然后按一定格式生成搜索結果頁面。

搜索引擎的工作原理爬行和抓取是搜索引擎工作的第一步，完成數據收集的任務。搜索引擎用來抓取頁面的程序被稱為蜘蛛(spider)

一個合格的SEOer，要想讓自己的更多頁面被收錄，就要想法設法吸引蜘蛛來抓取。

蜘蛛抓取頁面有幾方面因素：

(1)網站和頁面的權重，質量高、時間長的網站一般被認為權重比較高，爬行深度也會比較高，被收錄的頁面也會更多。

(2)頁面的更新頻率，蜘蛛每次爬行都會把頁面數據儲存起來，如果第二次，第三次的抓取和第一次的一樣，說明沒有更新，久而久之，蜘蛛也就沒有必要經常抓取你的頁面啦。如果內容經常更新，蜘蛛就會頻繁訪問頁面，來抓取新的頁面。

(3)導入鏈接，不管是內部鏈接還是外部鏈接，要想被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛就不會知道頁面的存在。

(4)與首頁的點擊距離，一般網站上權重最高的是首頁，大部分外部鏈接都會指向首頁，那么蜘蛛訪問最頻繁的頁面就是首頁，離首頁點擊距離越近，頁面權重越高，被爬行的機會越大。

吸引百度蜘蛛如何吸引蜘蛛來抓取我們的頁面?

堅持有頻率的更新網站內容，最好是高質量的原創內容。

主動向搜索引擎提供我們的新頁面，讓蜘蛛更快的發現，如百度的鏈接提交、抓取診斷等。

搭建外部鏈接，可以和相關的網站做友情鏈接交換，可以去別的平臺發布高質量的文章指向自己的頁面，內容要相關。

制作網站地圖，每個網站都應該有一個sitemap，網站所有的頁面都在sitemap中，方便蜘蛛抓取。

三、搜索引擎蜘蛛SPIDER不能順利爬行的原因分析

1.服務器連接異常

服務器連接異常會有兩種情況：一種是站點不穩定，Baidu spider嘗試連接您網站的服務器時出現暫時無法連接的情況；一種是Baidu spider一直無法連接上您網站的服務器。

造成服務器連接異常的原因通常是您的網站服務器過大，超負荷運轉。也有可能是您的網站運行不正常，請檢查網站的web服務器（如apache、iis）是否安裝且正常運行，并使用瀏覽器檢查主要頁面能否正常訪問。您的網站和主機還可能阻止了Baidu spider的訪問，您需要檢查網站和主機的防火墻。

2.網絡運營商異常

網絡運營商分電信和聯通兩種，Baidu spider通過電信或網通無法訪問您的網站。如果出現這種情況，您需要與網絡服務運營商進行聯系，或者購買擁有雙線服務的空間或者購買cdn服務。

3.DNS異常

當Baidu spider無法解析您網站的IP時，會出現DNS異常。可能是您的網站IP地址錯誤，或者域名服務商把Baidu spider封禁。請使用WHOIS或者host查詢自己網站IP地址是否正確且可解析，如果不正確或無法解析，請與域名注冊商聯系，更新您的IP地址。

4.IP封禁

IP封禁為：限制網絡的出口IP地址，禁止該IP段的使用者進行內容訪問，在這里特指封禁了Baidu spiderIP。當您的網站不希望Baidu spider訪問時，才需要該設置，如果您希望Baidu spider訪問您的網站，請檢查相關設置中是否誤添加了Baidu spiderIP。也有可能是您網站所在的空間服務商把百度IP進行了封禁，這時您需要聯系服務商更改設置。

5.UA封禁

UA即為用戶代理（User-Agent），服務器通過UA識別訪問者的身份。當網站針對指定UA的訪問，返回異常頁面（如402，500）或跳轉到其他頁面的情況，即為UA封禁。當您的網站不希望Baidu spider訪問時，才需要該設置，如果您希望Baidu spider訪問您的網站，useragent相關的設置中是否有Baidu spider UA，并及時修改。

6.死鏈

頁面已經無效，無法對用戶提供任何有價值信息的頁面就是死鏈接，包括協議死鏈和內容死鏈兩種形式。協議死鏈，頁面的TCP協議狀態/HTTP協議狀態明確表示的死鏈，常見的如404、402、502狀態等；內容死鏈，服務器返回狀態是正常的，但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。

對于死鏈，我們建議站點使用協議死鏈，并通過百度站長平臺--死鏈工具向百度提交，以便百度更快地發現死鏈，減少死鏈對用戶以及搜索引擎造成的負面影響。

7.異常跳轉

將網絡請求重新指向其他位置即為跳轉，異常跳轉指的是以下幾種情況。

1.當前該頁面為無效頁面（內容已刪除、死鏈等），直接跳轉到前一目錄或者首頁，百度建議站長將該無效頁面的入口超鏈接刪除掉。

2.跳轉到出錯或者無效頁面。

tips：對于長時間跳轉到其他域名的情況，如網站更換域名，百度建議使用201跳轉協議進行設置。

8.其他異常

1.針對百度refer的異常：網頁針對來自百度的refer返回不同于正常內容的行為。

2.針對百度ua的異常：網頁對百度UA返回不同于頁面原內容的行為。

3.JS跳轉異常：網頁加載了百度無法識別的JS跳轉代碼，使得用戶通過搜索結果進入頁面后發生了跳轉的情況。

4.壓力過大引起的偶然封禁：百度會根據站點的規模、訪問量等信息，自動設定一個合理的抓取壓力。但是在異常情況下，如壓力控制失常時，服務器會根據自身負荷進行保護性的偶然封禁。這種情況下，請在返回碼中返回502(其含義是“Service Unavailable”)，這樣Baidu spider會過段時間再來嘗試抓取這個鏈接，如果網站已空閑，則會被成功抓取。

四、利用蜘蛛池使新網站盡快被收錄

依據很多年搜索引擎營銷推廣的工作經驗，當新站連接搜索引擎的情況下都是進到沙盒期，有的新站可以被搜索引擎收益迅速，短周期擺脫沙盒期，其關鍵的緣故包含以下要素：

1、技術性配備

我們知道搜索引擎的收錄越來越方便快捷，一般人們必須把網站標準化為SEO。從技術性的視角，你將會必須：

①高度重視網頁頁面客戶體驗，它包含視覺效果感受及其網頁頁面的載入速率。

②創建sitemap，依照網頁頁面優先，合理流動有關URL。

③配備百度熊掌號ID，可快速提交高質量的URL到百度搜索官方網站。

所述內容，針對新站來講，是一個必需的規范化配備。

利用蜘蛛池加速新的網站收錄

2、網頁頁面品質

對于搜索引擎收錄來說，網頁質量是首要的考核標準，理論上，他是由幾個層次組成的，對于這些新站收入相對較快的網站來說，除了要做百度網址提交之外，他們還重點關注以下方面：

①時事性內容

對于新站來說，假如你想讓搜索引擎收錄速度越來越快，經過了人們多年的具體檢驗，人們發現：制造業的熱門新聞更容易快速收錄。

他的及時搜索關鍵詞量將會很高，也可能是相對性一般，但這一并并不是根本性要素。

②專題性內容

站在專業權威的角度，建立一個網站內部的小專題講座，能最大限度地與某一制造行業進行探討，最重要的是相關內容，它一般是多層次的有機化學成分。

例如：來自于KOL的看法，制造行業組織權威專家的很多年小結，及其社會發展科學研究團隊的有關數據信息適用等。

③多樣化內容

對于網頁的多樣化，它通常由多媒體系統元素組成，如：小視頻、數據圖表、高清圖片等，這些都是視頻的干預，看起來很重要。

利用蜘蛛池加速新的網站收錄

3、外界資源

對于搜索引擎收錄，人們這里所指的外部資源，一般還是指外部鏈接，假如你發現一個新站前期發布，其收錄和排名都會迅速上升，甚至是垂直型、折線型的指數值圖，那么起關鍵作用的要素就是外部鏈接。

這兒并不一定徹底根據高質量外鏈，它有的情況下還在于總數，而人們一般提議是挑選前面一種。

4、站群引流方法

站群，即一個人或一個團體實際操作好幾個網址，目地是根據搜索引擎得到很多總流量，或是是將連接偏向同一個網址，以提升自然排名。在2005-2012年中國一些從業SEO的工作人員明確提出了站群的定義：好幾個單獨網站域名（含二級域）的網址統一管理方法、相互之間關系。2008年剛開始，站群軟件開發者開發設計出一種更便于實際操作的網址收集方式，即根據關鍵字開展全自動收集網站內容，在這以前的收集方式均為撰寫標準方法。

5、蜘蛛池引流方法

蜘蛛池便是一堆由網站域名構成的站群，在每一個網站下都轉化成大量網頁頁面（抓一堆文字內容互相組成），頁面設計與一切正常網頁頁面沒多少差別。因為每一個網站都是有大量的網頁頁面，因此全部站群的搜索引擎蜘蛛總爬取量也是極大的。給未收錄的網頁頁面引搜索引擎蜘蛛，便是在站群一切正常網頁頁面的模版中獨立開一個DIV，塞外未收錄網頁頁面的連接，網絡服務器不設緩存文件，搜索引擎蜘蛛每一次瀏覽，這方面DIV中呈現的連接全是不一樣的。簡言之，蜘蛛池實際上便是給這些未收錄的網頁頁面，在短期內內出示很多的真正的外部鏈接，通道曝出多了，被爬取概率就大，收錄率當然也就上來了，又由于是外部鏈接，因此在排行上也是有一定的順向大大加分。

本文鏈接：http://www.sztqnet.com/article/1057.html