官方是這樣解釋的:抓取頻次是搜索引擎在單位時間內對網站服務器抓取的總次數,如果搜索引擎對站點的抓取頻次過高,很有可能造成服務器不穩定,Baiduspider會根據網站內容更新頻率和服務器壓力等因素自動調整抓取頻次。
通過百度抓取頻次的查看,我們網站管理員可以清晰的了解百度對我們的網站的爬取次數,相應的爬取時間。
其次通過百度抓取頻次的可以引導管理百度蜘蛛
(1)對于抓取頻次過大問題如何解決
1、如果您覺得Baiduspider 抓取了您認為的無價值鏈接, 請更新網站robots.txt進行屏蔽抓取,然后到robots工具頁面操作生效。
2、如果Baiduspider的抓取影響了您網站的正常訪問,請到抓取頻次上限調整頁面進行抓取頻次上限下調。
3、若以上方法均不能解決問題,請到反饋中心反饋。
(2)對于抓取頻次過小問題如何解決
您可以按照如下方法依次進行排查及解決頻次過小問題:
1、若您已設置了抓取頻次上限,建議您先取消抓取頻次上限設置或到抓取頻次上限調整頁面上調抓取頻次上限。
2、若您未設置抓取頻次上限,建議先使用抓取異常工具查看是否為抓取異常導致。
3、若您仍覺得抓取量較小,可能是您有新鏈接未提交,請到鏈接提交頁面進行數據提交。
4、若以上方法均不能解決問題,請到反饋中心反饋。
一般來講百度搜索引擎蜘蛛抓取頻次曲線是基本平緩延伸的,不會大幅波動,如果你的網站在抓取頻次方面出現大幅波動,很大可能是被木馬攻擊,被上傳的過多的頁面。
如果從大幅波動期慢慢恢復原來的抓取頻率,說明網站正逐漸恢復和變好,通過這種改變,可以增強我們廣大SEO朋友們的信心。