包生肖怎样才算中|最准特马网站资料
2017年最新百度谷歌360等搜索引擎蜘蛛名稱及搜索引擎蜘蛛真假判斷
搜收錄網整理 發布日期:2016/12/31 10:21:46
1、百度蜘蛛:Baiduspider
網上的資料百度蜘蛛名稱有BaiduSpider、baiduspider等,這些名稱都不是太準確。網頁抓取百度蜘蛛最新名稱為Baiduspider,是用百度來抓取網頁的蜘蛛。圖片抓取百度蜘蛛準確名稱為Baiduspider-image,是用來抓取圖片的蜘蛛。
常見的百度蜘蛛還有移動網頁抓取蜘蛛Baiduspider-mobile(抓取wap)、百度視頻抓取蜘蛛Baiduspider-video(抓取視頻)、百度新聞抓取蜘蛛Baiduspider-news(抓取新聞)。
如何判斷百度蜘蛛真假
使用DNS反查方式可以確定抓取來源的ip是否屬于百度,根據平臺不同驗證方法也有所不同:
    
在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
$ host 123.125.66.120 
120.66.125.123.in-addr.arpa domain name pointer 
baiduspider-123-125-66-120.crawl.baidu.com.
 
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer 
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
 
在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
 
在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
 
2、谷歌蜘蛛:Googlebot
谷歌網頁抓取蜘蛛最新名稱為“compatible; Googlebot/2.1;”。谷歌移動網頁抓取蜘蛛名稱為Googlebot-Mobile,看名字是抓取wap內容的。
 
3、360蜘蛛:
360搜索網頁抓取蜘蛛最新名稱為360Spider或HaosouSpider。
 
4、搜狗蜘蛛:Sogou+web+spider/4.0
搜狗網頁抓取蜘蛛最新名稱為Sogou+web+spider/4.0,搜狗蜘蛛還包括如下這些:Sogou+inst+spider、Sogou+spider2、Sogou+blog、Sogou+News+Spider、Sogou+Orion+spider,
 
搜狗最常見蜘蛛為"Sogou+web+spider/4.0" ;"Sogou+News+Spider/4.0" ;"Sogou+inst+spider/4.0"。
 
5、必應蜘蛛:bingbot 
必應網頁抓取蜘蛛最新名稱為(compatible; bingbot/2.0;)
 
6、一搜蜘蛛:YisouSpider
一搜網頁抓取蜘蛛最新名稱為YisouSpider,同時Yisouspider也是神馬搜索的網頁爬蟲,同時也在為CNZZ云推薦提供服務。
 
7、神馬蜘蛛:YisouSpider
神馬網頁抓取蜘蛛最新名稱為YisouSpider

信息網址:http://www.giubge.shop/ziyuan/view15945.htm
相關信息
包生肖怎样才算中 11运夺金稳赚秘笈 刘伯温四肖资料全部 北京pk10哪种最稳 四川时时app下载 彩票人工计划软件ios版 快乐时时是正规的吗 时时彩组六全包技巧 pk10实力计划群 澳门赌博 押大小 技巧 双色球投注手写单