做SEO優化的我們都曉得搜索引擎錄入頁面是靠蜘蛛抓取來錄入的，所以了解搜索引擎的改動是必需的。搜索引擎蜘蛛是大家編寫出來的機器，一定存在著某種規則。

一、搜索引擎蜘蛛的抓取規律

1、優質網站專門分配蜘蛛抓取，及時抓取，及時收錄，及時放出供網民搜索；

2、普通網站，分配一定的蜘蛛抓取資源，爬到一定量就不抓取了；

根據以上兩種抓取原則，在配合兩種抓取方法：橫向抓取，縱向抓取；

網頁抓取規則:遵循F型抓取規則，從左到右，從商到下的原則抓取。

一般情況下，一個新上線的網站需要一段時間才會被錄入。當搜索引擎錄入網站時，一般是從主頁收錄，接著順著主頁再進入內頁。搜索引擎很“花心”，它不是一次性將網站悉數抓取完，而是分不一樣的時間段進行抓取，然后核算出蜘蛛在網站的活動時間及時間的長短。

 新站的頁面即便被抓取也不會馬上被放出來，需要經過搜索引擎重復核算，供認網站的確有必要錄入，這時才會把頁面放出來，一般新站的網站快照和錄入頁面都是晚一個星期才會被放出來。

一定要緊記下面這段話：在搜索引擎蜘蛛抓取網站的時分，千萬不能出現網站打不開或許有死鏈的情況，假設出現這種情況，搜索引擎會連續對網站的抓取，往后什么時分再來就不一定了。有很多人有一個不好的習慣，也有一個不錯的猜想，認為域名的年紀越長，越遭到搜索引擎的親賴。

有好多人，網站剛剛做完主頁，馬上上線，主頁上的銜接大多數都是死鏈，搜索引擎蜘蛛進入后，抓取網站內頁時進不去，對網站形象大幅度降低，然后減少來抓取網站的次數。假設下次來光臨的時候， 網站仍是原樣，這樣往復幾回，搜索引擎蜘蛛就會不友好，覺得是低質網站，畢竟拋棄抓取該網站。

網站成功上線一段時間后，才會進入安穩時期。baidu和Google會給新站一段時間的查核期，查核期過后，才認為網站是一個長時間的網站，這個時間為3-6個月。處在安穩期的網站，搜索引擎蜘蛛會常常來光臨，它們仍是和前期時期一樣，從主頁進入網站抓取。

baidu和Google略有不一樣，假設baidu發現網站主頁的內容沒有改動，會馬上中止抓取；而Google不是這樣，即使發現網站主頁沒有改動，仍是照常順著主頁的銜接繼續抓取，這便是有些網站Google比baidu錄入頁面多的原因之一。

當更新網站的內容時，一定要在網站主頁中顯示出來，否則百度蜘蛛不會錄入更新的頁面，因為主頁沒有改動，百度蜘蛛不往內頁抓取，所以不曉得有新的頁面發作。這也是有的公司網站常常犯的錯誤之一，主頁的內容是死的，不能改動，致使網站的錄入量一貫沒有改動。安穩時期的網站快照和錄入頁面一般是近兩天內被放出來。。搜索引擎也是一樣，它對網站形象好，會常常來，常常更新網站的快照，常常錄入頁面；假設對網站形象欠好，所以要先養站，只需網站略微有“打擦邊球”的嫌疑，被封掉的可能性就會很大。

二、外鏈是否有時效性

早幾年在博客中國的博客(可能是因為流量超標在2016年被刪除了)早就已經被刪了，但是百度依然有快照。今天看了下首頁的快照已經沒有了，但是文章頁面還存在。看快照日期可以看到是2016年，甚至更久的。

也就是雖然頁面被刪除了有5年之久，但是百度的快照沒有刪除，那么你說這里面的鏈接蜘蛛會不會爬呢?我感覺應該是會爬的，而且我在博客網的這個博客是有一個域名A的鏈接的，當時只是做了個跳轉到博客首頁。后來在我啟用域名A做博客的時候，立馬就獲得了一個很好的權重，而且文章很容易被秒收。相信這個5年前的鏈接起到了不少的作用。

如果外鏈所在頁面搜索引擎沒有了快照，外鏈是否有效呢?答案可能會出乎很多人的意料，外鏈所在頁面沒有了快照依然還可以有效。原因可以查看我在蜘蛛如何抓取鏈接這篇文章里寫的，蜘蛛抓取頁面之后，會把內容和鏈接分開，鏈接也就是URL會加入一個網址索引庫，而蜘蛛抓取是從這個網址索引庫出發的。

先看證據，這個證據來自于谷歌站長工具：這個截屏來自于Google站長工具故障診斷的404報告，以前我在原網站下面架設了個bbs，當然早在N年前已經刪除了。可是這個不存在的頁面，被Google蜘蛛抓取的來源地址竟然也是不存在的頁面。而用Google搜索，是沒有這些頁面的快照的。那是不是意味著已經404了很久的頁面上的導出鏈接依然有效?

三、那么外鏈對于搜索引擎是否有時效性呢?

很明顯應該是有時效性的。那么我就猜測一下外鏈失效的原因吧，應該會有兩個原因：那就是外鏈所在頁面被刪或者鏈接被刪。

1.針對頁面被刪的情況，搜索引擎應該會繼續抓取這個頁面上的外鏈，直到這個頁面404一定時間后，會給搜索引擎網址索引庫一個命令刪除這個外鏈。

2.而對于頁面更改的情況，搜索引擎應該也會抓取這個外鏈，直到這個含有這個外鏈快照在搜索引擎內部徹底刪除，會給網址索引庫一個命令刪除這個外鏈。因為含有外鏈的頁面根據情況會保存N個時期的快照，這就是為什么有時候搜不同的詞，網頁快照不同。

本文鏈接：http://www.sztqnet.com/article/686.html