歷史回顧：

前段時(shí)間，多個(gè)站點(diǎn)抓取量出現(xiàn)過山車的現(xiàn)象，嚇尿了有木有？

果然的趕緊投訴，然后發(fā)現(xiàn)，是百度自己的問題。

再然后，百度說了 宣布新版Baiduspider移動(dòng)ua上線，同時(shí)公布了PC版Baiduspider ua。如下：

新版移動(dòng)ua:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC ua:

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）

新的正確的識(shí)別Baiduspider移動(dòng)ua的方法如下：

1. 通過關(guān)鍵詞“Android”或者“Mobile”來進(jìn)行識(shí)別，判斷為移動(dòng)訪問或者抓取。

2. 通過關(guān)鍵詞“Baiduspider/2.0”,判斷為百度爬蟲。

另外需要強(qiáng)調(diào)的是，對(duì)于robots封禁，如果封禁的agent是Baiduspider，會(huì)對(duì)PC和移動(dòng)同時(shí)生效。即，無論是PC還是移動(dòng)Baiduspider，都不會(huì)對(duì)封禁對(duì)象進(jìn)行抓取。之所以要強(qiáng)調(diào)這一點(diǎn)，是發(fā)現(xiàn)有些代碼適配站點(diǎn)（同一個(gè)url，PC ua打開的時(shí)候是PC頁，移動(dòng)ua打開的時(shí)候是移動(dòng)頁），想通過設(shè)置robots的agent封禁達(dá)到只讓移動(dòng)Baiduspider抓取的目的，但由于PC和移動(dòng)Baiduspider的agent都是Baiduspider,這種方法是非常不可取的。

推薦閱讀

近期百度的一些更新聲明@rude | 文軍營銷一、關(guān)于百度移動(dòng)搜索流量的說明 6月24日,百度發(fā)布了一條關(guān)于移動(dòng)搜索流量的消息,內(nèi)容如下: 近收到大量的站長反饋,自己的網(wǎng)站在百度移動(dòng)搜索獲取到的流量很低或者遠(yuǎn)遠(yuǎn)低于在pc搜索獲取到的流量,這個(gè)問題我們進(jìn)行了追查,也與一些站長朋友進(jìn)行了真實(shí)數(shù)據(jù)對(duì)比,發(fā)現(xiàn)站長的統(tǒng)計(jì)數(shù)據(jù)遠(yuǎn)遠(yuǎn)低于百度系統(tǒng)中的記錄,某些站點(diǎn)差距高達(dá)千倍以上。這可能是由