百度蜘蛛Baiduspider的真假如何分辨

事实上,在我们的日志中有很多白蛇。要解决这个问题。我们必须努力核实baiduspider的真实性。本文详细介绍了爬行动物的识别方法。

当我们根据网站日志分析搜索引擎蜘蛛抓取的网页记录时,其实很多网站都有一些冒充baiduspider的访客。这些数据会严重影响我们对测井分析后的判断。

为什么这些访问者以baiduspider的身份来访问我们的网站?最典型的就是收集你内容的人。他们知道很多工具可以看出哪些ip访问网站太大。比如今天一个ip访问你的网站一万次,这正常吗?肯定不正常。但如果他是baiduspdier呢?呵呵,很正常。

Mozilla/5.0(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

Mozilla/5.0(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)

Mozilla/5.0(Linux;u;Android 4 . 2 . 2;zh-cn;)AppleWebKit/534.46(KHTML,likeGecko)版本/5.1MobileSafari/10600.6.3(兼容;baiduspider/2.0;+http://www . Baidu . com/search/spider . html)

Mozilla/5.0(iPhone;CPUiPhoneOS9 _ 1 likemacosx)apple WebKit/601 . 1 . 46(KHTML,likeGecko)版本/9.0Mobile/13B143Safari/601.1(兼容;baiduspider-render/2.0;+http://www . Baidu . com/search/spider . html)

以上包括百度的常规爬虫和渲染爬虫。这两种爬行动物的区别用红色标出。

这个问题可以通过DNS反向查找来解决。根据不同平台如linux/windows/os的不同认证方式,认证方式如下:

1.在linux平台下,可以使用hostip命令来反转ip,以确定它是否被Baiduspider抓取。Baiduspider的主机名以. baidu.com或baidu.jp的格式命名,如果不是. baidu.com或baidu.jp,就是冒名顶替。

2.在windows平台或IBMOS/2平台上,可以使用nslookupip命令反向ip,确定是否被Baiduspider抓取。打开命令处理器,输入nslookupxxx.xxx.xxx.xxx(ip地址),然后就可以解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名是以. baidu.com或者. baidu.jp的格式命名的,如果不是. baidu.com或者. baidu.jp,就是假的。

3.在macos的平台上,可以使用dig命令反向ip,确定是否来自Baiduspider。打开命令处理器,输入digxxx.xxx.xxx.xxx(ip地址),然后就可以解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以. baidu.com或. baidu.jp的格式命名,如果不是. baidu.com或. baidu.jp,就是冒名顶替。

转载:非常欢迎大家与个人站长或朋友圈分享,但请说明文章出处& ldquo李SEO博客;。

原地址:http://www . alitahoo . com/SEO baike/seoumenjiaoocheng/2005 . html。

为您推荐

发表评论

电子邮件地址不会被公开。