1. 神馬Spider

神馬Spider是神馬訪問互聯網，自動化抓取網頁的程序。Spider抓取下網頁，建立索引，使用戶可通過搜索引擎搜索到互聯網上的資源。

2. 神馬Spider的user-agent及ip地址

user-agent，是http協議中的一個屬性，代表了終端的身份。神馬Spider的user-agent為：Yisouspider，因為歷史原因此user-agent名稱將會繼續使用。

神馬Spider的ip地址是一組ip池，會動態變，因此不在此列舉。

3. 神馬Spider的網站訪問頻率

神馬會根據網站的規模、服務能力、頁面質量、更新速度等因素來決定對網站的訪問頻率。通常質量高、網頁更新快的網站神馬spider訪問的頻率相對會高，以保證高質、時效的能夠展現給用戶。

4. 神馬spider如何發現新網頁

神馬spider發現新網頁的方式有多種，最典型的是在已發現的網頁中分析超鏈關系，選取url并抓取，如此不斷拓展，盡可能多的抓取到有價值的網頁。另外，神馬會從dns服務商處獲取新網站域名，能夠及時抓取到新建網站。

5. 關于robots協議

robots.txt是搜索引擎訪問網站是要訪問的第一個文件，以確定哪些網頁是允許或禁止抓取的。神馬搜索遵守互聯網robots協議，如您希望完全禁止神馬訪問或對部分目錄禁止訪問，您可以通過robots.txt文件來設置內容，限定神馬Spider的訪問權限。

robots.txt必須放在網站根目錄下，且文件名要小寫。

具體的寫法：

1) 完全禁止神馬Spider抓?。?/p>

User-agent: Yisouspider

Disallow: /

2) 禁止神馬spider抓取指定目錄

User-agent: Yisouspider

Disallow: /update

Disallow: /history

禁止抓取update、history目錄下網頁

6. 神馬Spider是否會造成帶寬負擔

神馬Spider有規范的抓取流程，同時也會考慮網站的忙閑時段來抓取，因此不會給網站造成帶寬負擔。如您發現名為Yisouspider的user-agent抓取嚴重影響到了網站的正常訪問，您可將該時段的訪問日志信息反饋至zhanzhangpingtai@service.alibaba.com，神馬同學會將分析結論發送給您。

本文鏈接：http://www.sztqnet.com/article/660.html