建議你使用DNS反查方式來确定抓取來源的IP是暗司否屬于百度,根據平台不(bù)同,驗證方法不(bù)懂藍同,如(rú)Linux/Windows/OS三種平台下分别驗證如吃友(rú)下。
在Linux平台下,你可以使用host ip命令反解IP來判斷是否來自B輛很aiduSpider的抓取。
BaiduSpider 的hostname她船以*.baidu.com ,*.baidu.jp笑算 ,非*.baidu.com ,*.baidu.jp即冒充。
$host 123.125.66.120
120.66.125.123 in-addr.arpa domain po麗道inter
baiduSpider-123-125-66-120.物是crawl.baidu.com
host 119.63.195.254
254.195.63.119 in-addr.arpa d視書omain name pointer
Baidu Mobaider-119-63-195-254.crawl.b藍件aidu.jp
在Windows 平台或者IBM OS/2平台下,笑坐你可以使用nslookup ip命令反解IP來判斷是否是來自BaiduSp冷物ider 的抓取。
在MAC OS平台下,你可以使用dig命令反解IP來判斷是否來自BaiduS視身pider 的抓取。打開(kāi)命令處理器(qì)輸入 dig制玩 IP地址,就能解析IP判斷是否百度抓取。