要想在搜索引擎中有好的排名表現，網站收錄是基礎。另一方面，頁面收錄的數量級也代表了網站的整體質量。在我看來，要想收錄網站，首先要了解搜索引擎的工作原理，這樣才能迎合搜索規則，讓網站收錄達到理想狀態。搜索引擎的工作原理非常復雜，下面我們就來簡單說一下搜索引擎如何收集并實現網頁的排名。

一、搜索引擎工作過程大致可以分為三個階段：

1.蜘蛛爬行和抓取：

搜索引擎蜘蛛通過跟蹤鏈接來查找和訪問網頁，讀取網頁的HTML代碼，并將其存儲在數據庫中。

2.內容預處理：

索引程序對抓取的頁面數據進行文本提取、中文分詞、索引、倒排索引等處理，供排名程序調用。

3.關鍵詞內容排名：

用戶輸入查詢詞后，排名程序調用索引數據庫數據，計算相關性，然后按照一定格式生成搜索結果頁面。

二、蜘蛛爬行方式

1、蜘蛛通道

相信大家都知道。當蜘蛛訪問任何網站時，它都會首先訪問網站根目錄中的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件和目錄，蜘蛛會遵守協議，不會抓取被禁止的URL。

2、跟蹤鏈接

為了在互聯網上抓取盡可能多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，并從一個頁面爬到下一個頁面。最簡單的爬行策略分為兩種：一種是深度優先，另一種是廣度優先。深度意味著蜘蛛沿著發現的鏈接爬行，直到前面沒有其他鏈接，然后返回第一頁，沿著另一個鏈接爬行。

是指當蜘蛛在一個頁面上找到多個鏈接時，它不會一路跟隨一個鏈接前進，而是一次爬完頁面上所有的一級鏈接，然后沿著二級頁面上找到的鏈接爬到三級頁面。

3、引蜘蛛

如果SEO人員想被收錄到百度網站上，就要盡量吸引蜘蛛來抓取，因為蜘蛛只能抓取有價值的頁面。這里有五個影響因素：網站和頁面權重、頁面更新程度、導入鏈接、與首頁的距離和URL結構。

4、地址庫

為了避免反復抓取和爬取網站，搜索引擎會建立一個地址數據庫，記錄已經找到但沒有爬取的頁面，以及已經爬取的頁面。蜘蛛在頁面上找到鏈接后不會立即訪問，而是將網址存儲在地址庫中，然后統一安排爬行。

5、地址庫中有幾個網址來源：

(1)手動輸入種子網站；

(2)蜘蛛抓取頁面后，從HTML中解析出新的鏈接URL，并與地址庫中的數據進行比較。如果地址庫中沒有網站，將存儲在地址庫中進行訪問；

(3)站長通過界面提交的網址；

(4)站長通過XML網站地圖和站長平臺提交的網址；

(5)文件存儲。搜索引擎蜘蛛捕獲的數據存儲在原始頁面數據庫中。

(6)爬行時檢測復制的內容。

三、內容預處理

“預處理”也被稱為“索引”，因為索引的主要內容是預處理：

1、提取文字

我們存儲在原始頁面數據庫中的是HTML代碼，其中不僅包含用戶可以直接在頁面上看到的文本內容，還包含JS、AJAX等搜索引擎無法用于排名的其他內容。首先要做的是從HTML文件中移除這些無法解決的內容，提取出可以排序的文本內容。

2、中文分詞

分詞是中文搜索引擎的一個獨特步驟，在存儲/處理頁面/用戶搜索時基于詞。基本上有兩種方法：一種是基于字典匹配，另一種是基于統計。

3、去停止詞

無論是英文還是中文，頁面上有一些詞出現頻率很高，對內容沒有影響，比如：的、啊、哈等。這些單詞叫停止詞。搜索引擎將刪除這些停止詞，使數據主題更加突出，并減少不必要的計算。

4、去噪聲詞

大多數頁面中有一些內容對頁面的主題貢獻不大。比如A頁的內容是一篇關于百度網站的文章，關鍵詞是百度網站。然而，除了解釋這個內容的主要內容之外，還有頁眉、頁腳和廣告等區域一起組成了這個頁面。

出現在這些部分的單詞可能與頁面內容本身的關鍵詞無關。搜索引擎的排序程序在對數據進行排序時無法參考這些有噪聲的內容，因此需要在預處理階段對這些噪聲進行區分和消除。消除噪音的方法是根據HTML標簽將頁面分成塊，如頁眉標簽和頁腳標簽等。刪除這些區域后，剩下的就是頁面的主要內容。

5、內容去重

也就是說，重復的網頁被刪除，同一篇文章經常在同一網站的不同網站/不同地址重復出現。為了用戶的體驗，重復數據刪除是必要的，搜索引擎將識別并刪除頁面上的重復內容。這個過程也叫內容去重，也是影響百度網站收錄的點之一。

6、正向索引

簡稱索引。經過以上步驟(提取、分詞、消噪、去重)，搜索引擎最終得到能夠反映頁面主要內容、以詞為單位的唯一內容。

接下來，搜索引擎的索引程序提取關鍵詞，并根據由分詞程序劃分的單詞將頁面轉換成由關鍵詞組成的集合。同時需要記錄頻率、頻次、格式(如標題標簽、黑體、H標簽、錨文本等。)和每個關鍵詞在頁面上的位置(如頁面的第一段等)。).搜索引擎的索引程序會將頁面和關鍵詞構成的詞庫結構存儲到索引數據庫中。

7、倒排索引

遠期指數不能直接用于排名。假設用戶搜索關鍵字。如果只有正向索引，排名程序需要掃描索引數據庫中的所有文件，找出包含關鍵字的文件，然后計算相關性。

這種計算無法滿足實時返回排名結果的要求。搜索引擎會提前對所有關鍵詞進行分類，將正向索引數據庫重構為反向索引，將文件到關鍵詞的映射轉換為關鍵詞到文件的映射。在倒排索引中，關鍵字是主鍵，每個關鍵字對應一系列文件。例如，顯示在下面第一行右側的文件都是包含關鍵字1的文件。這樣，當用戶搜索關鍵詞時，排序程序在倒排索引中定位該關鍵詞，并且可以立即找出所有關鍵詞的文件。

四、搜索結果排名

經過前面的蜘蛛抓取頁面，對數據預處理和索引程序計算得到倒排索引后，搜索引擎就準備好可以隨時處理用戶搜索了。用戶在搜索框輸入想要查詢的內容后，排名程序調用索引庫的數據，計算排名后將內容展示在搜索結果頁中。

1、搜索詞處理

搜索引擎接收到用戶輸入的搜索詞后，需要對搜索詞做一些處理，然后才進入排名過程。搜索詞處理過程包括：中文分詞、去停止詞、指令處理。

完成上面的步驟后，搜索引擎對剩下的內容的默認處理方式是在關鍵詞之間使用“與”邏輯。

比如用戶在搜索框中輸入“減肥的方法”，經過分詞和去停止詞后，剩下的關鍵詞為“減肥”、“方法”，搜索引擎排序時默認認為，用戶想要查詢的內容既包含“減肥”，也包含“方法”。

2、文件匹配

搜索詞經過上面的處理后，搜索引擎得到的是以詞為單位的關鍵詞集合。進入的下一個階段：文件匹配階段，就是找出含有所有關鍵詞的文件。在索引部分提到的倒排索引使得文件匹配能夠快速完成，假設用戶搜索“關鍵詞1 關鍵詞2”，排名程序只要在倒排索引中找到“關鍵詞1”和“關鍵詞2”這兩個詞，就能找到分別含有這兩個詞的所有頁面文件。

3、初始子集的選擇

找到包含所有關鍵詞的匹配文件后，還不能對這些文件進行相關性計算，因為在實際情況中，找到的文件經常會有幾十、幾百萬，甚至上千萬個。要對這么多文件實時進行相關性計算，需要的時間還是挺長的。百度搜索引擎，最多只會返回760條結果，所以只需要計算前760個結果的相關性，就能滿足要求。

由于所有匹配文件都已經具備了最基本的相關性（這些文件都包含所有查詢關鍵詞），搜索引擎會先篩選出1000個頁面權重較高的一個文件，通過對權重的篩選初始化一個子集，再對這個子集中的頁面進行相關性計算。

4、相關性計算

用權重選出初始子集之后，就是對子集中的頁面計算關鍵詞相關性的步驟了。計算相關性是排名過程中最重要的一步，影響相關性的主要因素包括如下幾個方面：

① 關鍵詞常用程度

經過分詞后的多個關鍵詞，對整個搜索字符串的意義貢獻并不相同。越常用的詞對搜索詞的意義貢獻越小，越不常用的詞對搜索詞的意義貢獻越大。所以搜索引擎對搜索詞串中的關鍵詞并不是一視同仁地處理，而是根據常用程度進行加權。不常用的詞加權系數高，常用詞加權系數低，排名算法對不常用的詞給予更多關注。

② 詞頻及密度

一般認為在沒有關鍵詞堆積的情況下，搜索詞在頁面中出現的次數多，密度越高，說明頁面與搜索詞越相關。當然這只是一個大致規律，實際情況未必如此，所以相關性計算還有其他因素。出現頻率及密度只是因素的一部分，而且重要程度越來越低。

③ 關鍵詞位置及形式

就像在索引部分中提到的，頁面關鍵詞出現的格式和位置都被記錄在索引庫中。關鍵詞出現在比較重要的位置，如標題標簽、黑體、H1等，說明頁面與關鍵詞越相關，這一部分就是頁面SEO所要解決的。

④ 關鍵詞距離

切分后的關鍵詞完整匹配的出現，說明與搜索詞最相關。比如搜索“減肥方法”時，頁面上連續完整出現“減肥方法”四個字是最相關的。如果“減肥”和“方法”兩個詞沒有連續匹配出現，出現的距離近一些，也被搜索引擎認為相關性稍微大一些。

⑤ 鏈接分析及頁面權重

除了頁面本身的因素，頁面之間的鏈接和權重關系也影響關鍵詞的相關性，其中最重要的是錨文字。頁面有越多以搜索詞為錨文字的導入鏈接，說明頁面的相關性越強。鏈接分析還包括了鏈接源頁面本身的內容主題、錨文字周圍的文字等。

小結：了解這些知識對于我們做百度網站收錄有重要意義，比如標題要包含用戶可能搜索的需求詞，正文適量體現關鍵詞或拆分詞有助于判斷內容與用戶搜索詞的相關性。

五、SEO搜索引擎營銷推廣

1、定位好網站推廣的目標

一個網站在發展過程中有著不一樣的目標，有可能會是尋找客戶，增加流量等等，所以確定好合適的推廣目標有助于選擇一個好的關鍵詞。

2、搜集信息，了解市場情況

市場信息千變萬化，隨時隨地的了解市場的情況是非常有必要的，通過了解市場的基本情況，掌握信息動態達到選取關鍵詞的目的。

第一利用競價方式提高網站名次，大部分用戶不會看搜索引擎后3頁的內容，只有排名靠前的信息才會得到用戶的關注。通過競價的方式來獲取名次是許多中小網站常用的一種方法，這種方法能夠快速提高網站名次，帶來人氣與流量，缺點就是要花錢，如果有需要選擇這種方式也是可行的。

第二優化內部，找出適合搜索引擎搜索的法制。搜索引擎進行收錄有一套基本的法則，如果你的網站順應了搜索引擎的法則名次就能夠得到很大的提高，相反網站與搜索引擎法則相違背的話，名次肯定不是很理想的。

3、選取人氣比較旺的搜索引擎，如百度、搜狗、360搜索等。

4、要選取最恰當的關鍵詞，因為只有選取了相關度高的關鍵詞，才能讓查找者方便找到。

5、要確保排名靠前，信息搜索者在搜索引擎上使用關鍵詞搜索時，會查找到無數個登記注冊的企業網站，然而，查找者往往只關注排在前十或二十位的企業網站。

六、那么如何符合搜索引擎的法則呢

1、網頁設計中減少圖片和FLASH文件，在網頁中圖片和FLASH過多會影響網站內部的速度，而且搜索引擎在識別有一些圖片和FLASH的時候并不能夠完全識別出來，搜索引擎就會認為是廢的，這樣的話網站的PR值分會得到降低。

2、可以利用單頁設置關鍵詞來提高名次，關鍵詞在搜索引擎中占了很大一部分比重，提高關鍵詞的設置也可以達到優化網站的目的。

3、友情鏈接要選好、用好。友情鏈接用好了能夠給網站帶來很大的流量，這都是網站站長需要做的實在的事情。

搜索引擎推廣方法總結：

搜索引擎可以說是網民的超級百科全書，想要知道任何東西，都可以通過搜搜引擎來實現。據統計，網站四分之三以上的訪問量都來自搜索引擎推薦，正因搜索引擎的存在，給企業推廣產品和服務提供了良好的契機。當我們做好一個網站并發布了，那我們要怎么做才能讓我們的網站被搜索引擎收錄呢?

本文鏈接：http://www.sztqnet.com/article/1278.html