歷史回顧：

前段時間，多個站點抓取量出現過山車的現象，嚇尿了有木有？

果然的趕緊投訴，然后發現，是百度自己的問題。

再然后，百度說了 宣布新版Baiduspider移動ua上線，同時公布了PC版Baiduspider ua。如下：

新版移動ua:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC ua:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）

新的正確的識別Baiduspider移動ua的方法如下：

1. 通過關鍵詞“Android”或者“Mobile”來進行識別，判斷為移動訪問或者抓取。

2. 通過關鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。

另外需要強調的是，對于robots封禁，如果封禁的agent是Baiduspider，會對PC和移動同時生效。即，無論是PC還是移動Baiduspider，都不會對封禁對象進行抓取。之所以要強調這一點，是發現有些代碼適配站點（同一個url，PC ua打開的時候是PC頁，移動ua打開的時候是移動頁），想通過設置robots的agent封禁達到只讓移動Baiduspider抓取的目的，但由于PC和移動Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。

推薦閱讀

近期百度的一些更新聲明@rude | 文軍營銷一、關于百度移動搜索流量的說明 6月24日,百度發布了一條關于移動搜索流量的消息,內容如下: 近收到大量的站長反饋,自己的網站在百度移動搜索獲取到的流量很低或者遠遠低于在pc搜索獲取到的流量,這個問題我們進行了追查,也與一些站長朋友進行了真實數據對比,發現站長的統計數據遠遠低于百度系統中的記錄,某些站點差距高達千倍以上。這可能是由